我的配置参考了"我是菜鸟要早起"的博客,他的链接:http://blog.csdn.net/licongcong_0224/article/details/12972889
使用VMare建3个虚拟机(使用CentOS7系统),三个虚拟机IP为:
192.168.100.130、192.168.100.131、192.168.100.134192.168.100.130 作为 master 节点,其他两个IP作为 slave 节点
一、在3个节点上的hosts文件配置IP与主机名的映射:
找到/etc/hosts,在里面加入三行:
192.168.100.130 master
192.168.100.131 slave1
192.168.100.134 slave2
二、配置SSH免密码登录
1、找到/etc/ssh/sshd_config,去掉注释符”#“
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
2、在每个节点上生成公钥和私钥
ssh-keygen -t rsa -P ""
3、在master 上,进到~/.ssh目录下,执行
cat id_rsa.pub >> authorized_keys
4、分别将slave1和slave2上的公钥加到master上
的authorized_keys文件里
在slave1:
scp id_rsa.pub master:~/.ssh/id_rsa.pub.s1 slave1
在slave2:
scp id_rsa.pub master:~/.ssh/id_rsa.pub.s2 slave2
在master上(注意进到~/.ssh目录下):
cat id_rsa.pub.s1 >> authorized_keys master
cat id_rsa.pub.s2 >> authorized_keys master
chmod 600 authorized_keys
可以尝试下是是否成功了
ssh localhost
第一次应该会要求输入yes/no
输入yes之后就登录成功了
同样的,ssh slave1\ssh master\ssh slave2,
会出现类似的结果,这时候应该不需要输密码了
如果还是要输入密码,
錯誤訊息:Agent admitted failure to sign using the key
使用 ssh-add 指令将私钥加进来(根据个人的密匙命名不同更改 id_rsa)
ssh-add ~/.ssh/id_rsa (分别在master、slave1、slave2上执行)
如果还不行,那我也没办法了...........
三、新增账户,分配权限
为每台机器新建了一个账户hadoopuser.这里需要给每个账户分配sudo的权限。
(切换到root账户,修改/etc/sudoers文件,
增加:hadoopuser ALL=(ALL) ALL )
四、确认已安装jdk,若没有安装就安装一下JDK并配置一下环境变量,
过程自己百度
五、关闭防火墙(之前因为没做这一步,namenode和datanode节点虽然起来,
但在web控制台上看到的livenode 数目为0)
各个版本的linux稍有差异,在CentOS7上是:
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
六、拷贝hadoop包到各个节点的相同目录下,并进行解压
七、配置文件配置
进到hadoop安装根目录下的/etc/hadoop/下
共有7个文件要配置:
~/hadoop-2.6.5/etc/hadoop/hadoop-env.sh
~/hadoop-2.6.5/etc/hadoop/yarn-env.sh
~/hadoop-2.6.5/etc/hadoop/slaves
~/hadoop-2.6.5/etc/hadoop/core-site.xml
~/hadoop-2.6.5/etc/hadoop/hdfs-site.xml
~/hadoop-2.6.5/etc/hadoop/mapred-site.xml
~/hadoop-2.6.5/etc/hadoop/yarn-site.xml
以上个别文件默认不存在的,可以复制相应的template文件获得。
配置文件1:hadoop-env.sh
修改JAVA_HOME值(export JAVA_HOME=/usr/java/jdk1.7.0_40)
配置文件2:yarn-env.sh
修改JAVA_HOME值(exportJAVA_HOME=/usr/java/jdk1.7.0_40)
配置文件3:slaves (这个文件里面保存所有slave节点)
写入以下内容:
slave1
slave2
配置文件4:core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hduser/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>hadoop.proxyuser.hduser.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hduser.groups</name>
<value>*</value>
</property>
</configuration>
配置文件5:hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hduser/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hduser/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
配置文件6:mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
配置文件7:yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value> master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value> master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value> master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value> master:8088</value>
</property>
</configuration>
3、复制到其他节点
4、启动验证
4.1 启动hadoop
进入安装目录: cd ~/hadoop-2.6.5/
格式化namenode:./bin/hdfs namenode –format
启动hdfs: ./sbin/start-dfs.sh
此时在master上面运行的进程有:namenode secondarynamenode
slave1和slave2上面运行的进程有:datanode
启动yarn: ./sbin/start-yarn.sh
此时在master上面运行的进程有:namenode secondarynamenoderesourcemanager
slave1和slave2上面运行的进程有:datanode nodemanaget
查看文件块组成: ./bin/hdfsfsck / -files -blocks
查看HDFS: http://192.168.100.130:50070
查看RM: http://192.168.100.130:8088
**我在http://192.168.100.130:8088看到livenode只有2个,
是slave1和slave2的IP,以为是启动失败了,找了很久发现其实这个
跟slave文件的配置有关,只要把master加进去,关闭再重启hadoop,
就发现livenode变为3个了。这说明livenode指的是活着的datanode。