环境:ubuntu、hadoop-1.2.1、jdk1.6.0_25
namenode:master(ip:192.168.168.137)
datanode:slave1(ip:192.168.168.136)、slave2(ip:192.168.168.135)
配置步骤:
(1)配置NameNode和DataNode
修改每台机器的/etc/hosts(包括namenode和datanode)
127.0.0.1 localhost 192.168.168.137 master 192.168.168.136 slave1 192.168.168.135 slave2
修改/etc/hostname(以master为例)
master
(2)在所有的机器上建立相同的用户
useradd cw passwd 123456
成功建立grid用户后,输入用户密码就是该用户密码
(3)SSH设置
使用cw用户登录
在所有机器/home/cw下
mkdir .ssh
在namenode上生成密钥对
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
将文件复制到SLave主机在
$ scp authorized_keys slave1:~/.ssh/
$ scp authorized_keys slave2:~/.ssh/
输入:ssh slave1即可验证
网上的一些说法(参考):
.ssh目录要设成700 有执行权限
authorized_keys要设成600 否则会出错
还有ssh 登陆要加入用户名的 比如
ssh root@localhost
(4)在所有机器上安装JDK
下载jdk-6u25-linux-i586.bin,安装到/usr/lib/jvm下,cd到usr/lib/jvm下
chmod u+x jdk-6u29-linux-i586.bin ./jdk-6u25-linux-i586.bin
接下来要设置java的环境变量输入命令:
gedit /etc/profile
在文件的最后添加以下语句:
JRE_HOME=/usr/lib/jvm/jdk/jdk1.6.0_25/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/jt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH
输入java -version 命令,出现如下信息就表示配置成功
java version "1.6.0_25"
(5)在所有机器上安装配置Hadoop
首先在namenode上配置,配置后在分发到datanode上
在这里,下载hadoop-1.2.1.tar.gz,然后解压到/home/cw/下即可
tar -zxvf hadoop-0.20.203.tar.gz
接下来需要修改hadoop的conf文件夹下的配置信息:
修改hadoop-env.sh,加入如下语句,使得hadoop能够找到java的路径。:
export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_25
修改core-site.xml,如下:
<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property>
<property> <name>hadoop.tmp.dir</name> <value>/home/cw/tmp</value> </property> </configuration>
注意:hadoop.tmp.dir是hadoop文件系统依赖的基础配置,很多路径都依赖它。它默认的位置是在/tmp/{$user}下面,在local和hdfs都会建有相同的目录,但是在/tmp路径下的存储是不安全的,因为linux一次重启,文件就可能被删除。导致namenode启动不起来。
修改hdfs-site.xml,如下
<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration>
修改mapred-site.xml,如下:
<configuration> <property> <name>mapred.job.tracker</name> <value>master:9001</value> </property> </configuration>
masters里写入作为namenode节点机器
master
slaves里写入作为datanode节点的机器
slave1
slave2
到此,hadoop的有关配置已经完成,namenode端通过如下命令把配置好的hadoop发送到各个datanode处:
scp -r hadoop-1.2.1 slave1:/home/cw scp -r hadoop-1.2.1 slave2:/home/cw
(6)
注意点:关闭所有机器上的防火墙,不然会导致datanode起不来
/etc/init.d/iptables stop
在namenode端cd到hadoop文件夹下,格式化分布式文件系统:
bin/hadoop namenode -format
下面接着在namenode端启动hadoop进程:
bin/start-all.sh
注意:如果这样的话会遇到错误,namenode可以启动,但是datanode启动不了,这是因为/home/cw/hadoop-1.2.1/hdfs/data的data文件夹没有权限,所以赋予data文件夹755权限:
chmod 755 data
如果没有其它差错的话,hadoop可以正常启动,并能够看到如下结果:
在namenode端用jps命令查看启动情况,如下:
xxxx Jps xxxx Namenode xxxx Secondarynamenode xxxx JobTracker
然后可以通过如下地址来查看集群运行状况:
http://centos1:50030
http://centos1:50070
http://centos2:50060
打完收工!!!
--------------------------------------------------------------------------------------------------------------------------
跑hadoop自带的wordcount程序
1、通过hadoop的命令在HDFS上创建/tmp/workcount目录,命令如下:bin/hadoop fs -mkdir /tmp/wordcount
2、通过copyFromLocal命令把本地的word.txt复制到HDFS上,命令如下:bin/hadoop fs -copyFromLocal /home/grid/word.txt /tmp/wordcount/word.txt
3、通过命令运行例子,使用命令如下:bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount /tmp/wordcount/word.txt /tmp/wordcount/out
4、查看运行结果,使用命令: bin/hadoop fs -ls /tmp/wordcount/out查看例子的输出结果,发现有两个文件夹和一个文件,使用命令查看part-r-00000文件, bin/hadoop fs -cat /tmp/wordcount/out/part-r-00000可以查看运行结果。