1,安装JDK
sudo apt-get install openjdk-6-jdk
2,配置JAVA 环境变量
输入命令:
sudo gedit /etc/profile
打开profile 在文件最下面加入如下内容:
# set java home
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-i386/
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME:$PATH"
注意根据自己安装的java路径添加,可以用
ls /usr/lib/jvm/ , 查看已安装的jdk路径。
验证jdk是否安装成功:
java -version
3,配置SSH免密码登录
a, 安装SSH ,输入命令:
sudo apt-get install ssh
b,配置可以免密码登录本机。
查看在本用户下是否有文件夹 .ssh, 没有此文件夹 则创建一个名为.ssh的文件夹.
命令:
ls -l /home/u (自己的用户目录)
c, 再创建id_dsa id_dsa.pub 两个文件,这是SSH一对私钥和公钥。
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
d, 把id_dsa.pub 追加到授权key 里面
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
d, 验证是否成功。
ssh localhost
显示
Welcome to Ubuntu 12.10 (GNU/Linux 3.2.0-29-generic-pae i686)
* Documentation: https://help.ubuntu.com/
Last login: Sun Apr 21 11:16:27 2013 from daniel-optiplex-320.local
4,Hadoop 安装
a, 下载Hadoop
b, .解压Hadoop
tar xzvf hadoop-1.0.4-bin.tar.gz -C /home/user
注意解压到自己的用户目录user下。
c ,伪分布式Hadoop 配置
转到/home/user/下的 hadoop目录下。
cd conf , 进入配置文件夹,进行修改。
修改文件 hadoop-env.sh 配置JDK即可
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-i386/
修改文件 core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改文件 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
修改文件 mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
5,启动 Hadoop
首先把Hadoop bin 目录加入PATH 系统环境变量。
注意这个路径是你加压后 Hadoop目录下bin目录的路径。
修改完,然后输入命令:
a,格式化文件系统
sudo vim /etc/profile
在最后一行添加:
export PATH=/home/user/hadoop-1.0.4/bin/:$PATH
注意这个路径是你加压后 Hadoop目录下bin目录的路径。
修改完,然后输入命令:
source /etc/profile
a,格式化文件系统
hadoop namenode –format
b, 启动hadoop
启动关闭所有服务 start-all.sh/stop-all.sh
启动关闭HDFS: start-dfs.sh/stop-dfs.sh
启动关闭MapReduce: start-mapred.sh/stop-mapred.sh
c, 用jps命令查看进程,确保有 namenode,dataNode,JobTracker,TaskTracker
或者通过 浏览器验证 Hadoop安装是否成功。
MapReduce的web页面
http://localhost:50030
HDFS的web页面
http://localhost:50070
遇到的错误:
或者通过 浏览器验证 Hadoop安装是否成功。
MapReduce的web页面
http://localhost:50030
HDFS的web页面
http://localhost:50070
遇到的错误:
跑 MapReduce程序时如果出现,java.io.IOException: Too many open files 错误在需要在
修正的方法是去 /etc/security/limits.conf 加上這行: - nofile 8192
安装完hadoop 2.2.0 版本 提交任务总是处于Pending状态,不能Running。
更高版本的安装(Hadoop 2.2.0)参见:http://my.oschina.net/heartdong/blog/186026 , http://hi.baidu.com/kongxianghe123/item/d02118ceff090824ee466585
Eclipse下运行Hadoop 1.0.4 WordCount 例子.
安装完hadoop 2.2.0 版本 提交任务总是处于Pending状态,不能Running。
解决方法:
确保所有节点的配置文件mapred-site.xml中包含:
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
确保所有节点的配置文件mapred-site.xml中包含:
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
更高版本的安装(Hadoop 2.2.0)参见:http://my.oschina.net/heartdong/blog/186026 , http://hi.baidu.com/kongxianghe123/item/d02118ceff090824ee466585
Eclipse下运行Hadoop 1.0.4 WordCount 例子.