一、搭建实验环境
四台centos6.6 , 64位
Master 192.168.124.15
Slave1.Hadoop 192.168.124.17
Slave2.Hadoop 192.168.124.21
Slave3.Hadoop 192.168.124.22
注意事项:
1、关于虚拟机下配置网络的几种方式需要了解,在了解清楚之后,选择桥接方式,将虚拟机模拟成局域网之内独立存在的主机,一个局域网之内的所有主机都可以相互之间进行访问,并且虚拟机能连接外网。这是进行后续步骤的前提。
2、创建一个虚拟机centos6.6之后,为了方便,所以在virtualbox中将第一个创建好的虚拟机centos6.6导入,创建三个相同的虚拟机,但是在这个过程中由于Mac地址的变换,所以需要进行网络的再次相关配置。
参考链接: http://blog.csdn.net/sailinglt/article/details/78464140
http://blog.csdn.net/sailinglt/article/details/78465632
二、配置ssh免密码登陆
参考链接 http://blog.csdn.net/sailinglt/article/details/78522340
三、安装JDK并配置
参考链接 http://blog.csdn.net/SailingLT/article/details/78523247
四、安装hadoop2.8并进行配置
hadoop2.8下载链接 http://mirrors.shuosc.org/apache/hadoop/common/stable/
##### 1、配置/home/hadoop/hadoop-2.8.2/etc/hadoop目录下的core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.124.15:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/hadoop/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>
</configuration>
#### 2、配置/home/hadoop/hadoop-2.8.2/etc/hadoop目录下的hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.124.15:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
####3、配置/home/hadoop/hadoop-2.8.2/etc/hadoop目录下的mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.124.15:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.124.15:19888</value>
</property>
</configuration>
####4、配置/home/hadoop/hadoop-2.8.2/etc/hadoop目录下的yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.124.15:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.124.15:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.124.15:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.124.15:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.124.15:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>768</value>
</property>
</configuration>
9、配置/home/hadoop/hadoop-2.8.2/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME,不设置的话,启动不了,
export JAVA_HOME=/home/java/jdk1.8.15
10、配置/home/hadoop/hadoop-2.8.2/etc/hadoop目录下的slaves,删除默认的localhost,增加3个从节点,
192.168.124.17
192.168.124.21
192.168.124.22
`
五、将配置好的hadoop2.8复制到Slave服务器
scp -r /usr/hadoop 192.168.124.17:/usr/
scp -r /usr/hadoop 192.168.124.21:/usr/
scp -r /usr/hadoop 192.168.124.22:/usr/
五、启动以及访问
在Master服务器启动hadoop,从节点会自动启动,进入/usr/hadoop/hadoop-2.8.2目录下面:
(1)初始化,输入命令,bin/hdfs namenode -format (注意:只能启动一次,否则后面会出现很多问题)
(2)全部启动sbin/start-all.sh,也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh
(3)停止的话,输入命令,sbin/stop-all.sh
(4)输入命令,jps,可以看到相关信息
六、Web访问
要先开放端口或者直接关闭防火墙
(1)输入命令,关闭防火墙
service iptables stop(临时关闭防火墙)
chkconfig iptables off(永久关闭防火墙)
(2)浏览器打开
http://192.168.0.182:8088/
(3)浏览器打开
http://192.168.0.182:50070/
七、常见错误以及解决
参考文献
http://www.linuxidc.com/Linux/2015-11/124800.htm
http://www.mamicode.com/info-detail-1669425.html
http://www.linuxidc.com/Linux/2016-02/128149.htm