真实企业中搭建大数据平台Hadoop的分布式集群环境搭建 ,其实是和我的是大同小异,只不过我是虚拟机:看这位仁兄(有五台服务器,看公司情况和需求):
https://my.oschina.net/feinik/blog/1621000
环境:
CentOS7虚拟机三台
java8、ssh
Hadoop: hadoop-2.7.1
一、准备工作
1.修改三台虚拟机主机名master、slave1,slave2
[root@master ~]# vim /etc/hostname
进入之后直接改名即可
2.IP与主机名映射
[root@master ~]# vim /etc/hosts
如果是三台服务器 就三台 的IP + 主机名 都写上
3.配置静态网络
[root@master ~]# vim /etc/sysconfig/network-scripts/ifcfg-eno16777736
4.关闭网络管理器NetworkManager 并重启
[root@master ~]# systemctl disable NetworkManager.service
[root@master ~]# chkconfig network on
[root@master ~]# systemctl stop NetworkManager
[root@master ~]# systemctl restart network
注:之后重新输入你设置的静态IP登录即可
5.配置完成之后,互相ping一下,看能否连通
ping master
ping slave
二、配置免密码登录
注: 按下面的命令 做就没错
1.在所有机器上(包括主机)都生成私钥和公钥,一路回车
ssh-keygen -t rsa
2.需要让机器能互相访问,需要把slave节点上的 id_rsa.pub发给master
scp /root/.ssh/id_rsa.pub root@master:/root/.ssh/id_rsa.pub.slave1
slave1:
slave2:
scp /root/.ssh/id_rsa.pub root@master:/root/.ssh/id_rsa.pub.slave2
图就不截了。和上边一样
在master上,将所有公钥加到用于认证的公钥文件authorized_keys中
cat /root/.ssh/id_rsa.pub*>>/root/.ssh/authorized_keys
将公钥文件authorized_keys分发给每台slave
slave1:
scp /root/.ssh/authorized_keys root@slave1:/root/.ssh/
slave2:
scp /root/.ssh/authorized_keys root@slave2:/root/.ssh/
验证免密码通信(按这种形式测试即可)
ssh master
ssh slave
三.安装Hadoop
官网下载Hadoop2.7.
解压到/usr/local/hadoop2.7.
tar zxvf hadoop-2.7.1.tar.gz
1.配置hadoop环境变量
[root@master /]# vim ~/.bashrc
添加如下内容:(根据自己的目录而定--》HADOOP_HOME)
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=JAVA_HOME/bin:HADOOP_HOME/bin:$PATH
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
[root@master /]# source ~/.bashrc
2.配置根目录下的 全局环境变量 (设置是为了方便命令操作)
我习惯放到末尾
JAVA_HOME=/usr/java/jdk1.8.0_121
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.1
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH
最后:重新生效配置文件
进入hadoop/etc/hadoop/目录下,配置以下文件hadoop-env.sh,yarn-env.sh,slaves,core-site.xml,hdfs-site.xml,maprd-site.xml,yarn-site.xml
[root@master /]# cd $HADOOP_HOME
[root@master hadoop-2.7.3]# cd etc/hadoop/
1、进入hadoop-env.sh,该文件为hadoop集群启动检查相关环境变量的文件,注意检查JAVA_HOME环境变量的路径是否是对的
2、进入yarn-env.sh,同样检查JAVA_HOME
3、进入slaves,配置如下内容,其内配置的是集群内的所有主机的主机名,用来启动DataNode存储(从节点的启动主机名写入)
master
slave
4、修改core-site.xml(核心配置文件,指定了hadoop最关键就的进程节点的主机: 里面的File指定的hadoop目录换成你自己指定的下面的也是)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-2.7.3/tmp</value>
</property>
</configuration>
5、修改hdfs-site.xml(包括块大小,冗余/副本,路径下的关键文件,端口等)
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///usr/local/hadoop-2.7.3/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/local/hadoop-2.7.3/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
最好加上这个节点,因为以后再使用hdfs操作JavaAPI 时可能会出现 必须要root 用户权限的问题
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
6、修改mapred-site.xml(Mapreduce计算程序相关的文件)
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
选加:
<property> <name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
<description>MapReduce的JobHistoryserver的IP和端口</description>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
<description>MapReduce的JobHistoryserver在web端查看的地址</description>
</property>
<property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
<description>是否开启小作业优化</description>
</property>
7、修改yarn-site.xml(资源调度相关配置文件)
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
</configuration>
选加:
<property>
<name>yarn.log-aggregation-enable</name>
<value>false</value>
<description>是否启用日志聚合功能,日志聚合开启后保存到HDFS上</description>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
<description>聚合后的日志在HDFS上保存多长时间,单位为s </description>
</property>
将配置好的hadoop-2.7.3文件夹分发给所有slave吧,本例就一台slave(根据自己指定的目录)
scp -r /usr/local/hadoop-2.7.3/ root@slave:/usr/local/
启动Hadoop
初次搭建,需要格式化namenode ,以后启动不需要
[root@master hadoop-2.7.3]# bin/hadoop namenode -format
[root@master hadoop-2.7.3]# sbin/start-all.sh
master上执行jps查看以下进程是否都存在
13312 ResourceManager
19555 Jps
13158 SecondaryNameNode
12857 NameNode
13451 NodeManager
12989 DataNode
slave上执行jps查看
14112 Jps
9300 NodeManager
9179 DataNode
Hadoop相关管理界面
Hadoop集群管理界面http://192.168.1.240:50070/
从中可以查看节点启动的相关信息,也可以通过日志定位启动过程中的问题
Paste_Image.png
mapreduce任务执行管理界面http://192.168.1.240:8088
Paste_Image.png
执行Hadoop自带MR示例程序
hadoop提供的示例程序做了这件事:用正则表达式dfs[a-z.]+来搜索所有的输入文件,对搜索出的结果汇总并排序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep /user/test1/input /user/test1/output 'dfs[a-z.]+'
其中输出文件目录需要制定hdfs的绝对目录,否则,会输出到/user/root下
任务执行进度可以在http://192.168.1.240:8088上查看,执行完毕后执行下面的命令查看结果
[root@localhost hadoop-2.7.3]# bin/hdfs dfs -cat /user/test/output/*
6 dfs.audit.logger
4 dfs.class
3 dfs.server.namenode.
2 dfs.period
2 dfs.audit.log.maxfilesize
2 dfs.audit.log.maxbackupindex
1 dfsmetrics.log
1 dfsadmin
1 dfs.servers
1 dfs.replication
1 dfs.file
FAQ:
1、环境搭建好,启动hadoop时,NameNode进程无法启动
初次启动,没有执行格式化命令
2、配置文件中注意格式和路径,写错了很难查出来
3、Hadoop启动hdfs时,datanode无法启动的问题
问题描述:java.io.IOException: Incompatible clusterIDs in /home/lxh/hadoop/hdfs/data: namenode clusterID = CID-a687ed3c-45d2-456c-828d-bc5d8af2a0cf; datanode clusterID = CID-2169f5c7-b111-4af8-a899-56be4bc64702
原因:执行hdfs namenode -format后,current目录会删除并重新生成,其中datanode/current/VERSION文件中的clusterID也会随之变化,而datanode的datanode/current/VERSION文件中的clusterID保持不变,造成两个clusterID不一致。
解决方法:所以为了避免这种情况,可以再执行的namenode格式化之前,删除datanode的current文件夹,或者修改datanode的VERSION文件中出clusterID与namenode的VERSION文件中的clusterID一样,然后重新启动dfs。
3、注意关闭防火墙(以及关闭防火墙的开机启动)
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动