CentOS7 搭建Hadoop 集群

CentOS7 搭建Hadoop 集群

一，系统与软件的准备
（一），CentOS 7 的下载与安装
下载地址：[http://vault.centos.org/]
安装教程：[http://jingyan.baidu.com/article/a3aad71aa180e7b1fa009676.html]
（二），软件下载
Hadoop:[http://archive.apache.org/dist/hadoop/common/]
jdk:[https://www.oracle.com/index.html]
zookeeper:[https://www.apache.org/]
二，前期准备
（一），Linux环境准备：
1，修改主机名称：hostnamectl set -主机名。
2，查看IP地址：注意！！！！此IP地址是内网的IP地址。如果在虚拟机上搭建要使用桥接模式！！这样集群的节点才可以互相通信！
3，修改主机与IP的映射关系：sudo vim /etc/hosts ，格式 :IP地址 主机名
4，关闭防火墙：一定要关闭，否则后面集群节点通信会出现很多问题，centos 7 的命令与以往版本不同。

关闭防火墙：systemctl stop firewalld.service
禁止开机启动：systemctl disable firewalld.service
开启 firewall start
查看状态：firewall-cmd --status

5，安装jdk,Hadoop，解压到自己指定的目录后，将 Java，Hadoop添加到环境变量中
vim /etc/profile
在文件最后添加：
export JAVA_HOME=/home/yang/server/jdk1.8.0_101
export HADOOP_HOME=/home/yang/server/hadoop-2.7.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
刷新配置：source /etc/profile
（二），集群规划
1，集群规划

2，修改hosts文件
修改每个节点上主机与IP的映射关系。
二，开始搭建
（一），zookeeper集群搭建
1，先在server04解压
tar -zxvf zookeeper-3.4.9.tar.gz
2，修改配置
cd /home/yang/server/zookeeper-3.4.9/conf/
mv zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改：dataDir=/home/yang/server/zookeeper-3.4.9/tmp
在最后添加：
server.1=server04:2888:3888
server.2=server05:2888:3888
server.3=server06:2888:3888
保存退出
然后创建一个tmp文件夹
mkdir /home/yang/zookeeper-3.4.5/tmp
再创建一个空文件
touch /home/yang/zookeeper-3.4.5/tmp/myid
最后向该文件写入ID
echo 1 > /home/yang/zookeeper-3.4.5/tmp/myid
3，在server05，server06重复步骤1，2。
4，测试是否正常运行
进入3个节点的 /home/yang/server/zookeeper-3.4.9/bin目录下运行
./zkServer.sh start 启动zookeeper
./zkServer.sh status 查看状态一个leader 两个follower
具体的指令大家自学吧，就不写出来了。
（二），hadoop集群搭建
通过修改配置文件来进行集群的搭建
hadoop 的配置文件全部在$HADOOP_HOME/etc/hadoop下
cd /home/yang/server/hadoop-2.7.2/etc/hadoop
1，修改hadoo-env.sh`

export JAVA_HOME=/home/yang/server/jdk1.8.0_101

2，修改core-site.xml

<configuration>
    <!-- 指定hdfs的nameservice为ns1 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1</value>
    </property>
    <!-- 指定hadoop临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/yang/server/hadoop-2.7.2/tmp</value>
    </property>
    <!-- 指定zookeeper地址 -->
    <property>
    <name>ha.zookeeper.quorum</name>
    <value>server04:2181,server05:2181,server06:2181</value>
    </property>
</configuration>

3，修改hdfs-site.xml

<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
<property>
    <name>dfs.nameservices</name>
    <value>ns1</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
    <name>dfs.ha.namenodes.ns1</name>
    <value>nn1,nn2</value>
</property>     
<!-- nn1的RPC通信地址 -->
<property>
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    <value>server01:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
    <name>dfs.namenode.http-address.ns1.nn1</name>
    <value>server01:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    <value>server02:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
    <name>dfs.namenode.http-address.ns1.nn2</name>
    <value>server02:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://server04:8485;server05:8485;server06:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/home/yang/server/hadoop-2.7.2/journal</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>          
    <name>dfs.client.failover.proxy.provider.ns1</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行--><property>
    <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/yang/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
    <value>10000</value>
</property>
</configuration>

4，修改mapred-site.xml
mv mapred-site.xml.t….. mapred-site.xml

<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
</configuration>

5，修改yarn-site.xml

<configuration>
<!-- 指定resourcemanager地址 -->
<property>          
    <name>yarn.resourcemanager.hostname</name>
    <value>server03</value>
</property>
<!-- 指定nodemanager启动时加载server的方式为shuffle server -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
</configuration>

6， 修改slaves(slaves是指定子节点的位置，因为要在itcast01上启动HDFS、在itcast03启动yarn，所以itcast01上的slaves文件指定的是datanode的位置，itcast03上的slaves文件指定的是nodemanager的位置)

server04
server05
server06

（三），配置免密码登陆
首先要配置server01到server02、server03、server04、server05、server06的免密码登陆
在server01上生产一对钥匙
查看ls -la是否有.ssh文件，若无就运行ssh server01,这时产生.ssh文件。
cd /home/yang/.ssh
ssh-keygen -t rsa（回车）
将公钥拷贝到其他节点，包括自己
ssh-coyp-id server01
ssh-coyp-id server02
ssh-coyp-id server03
ssh-coyp-id server04
ssh-coyp-id server05
ssh-coyp-id server06
其他节点也是同样
三，测试
注意：严格按照下面的步骤
（一），启动zookeeper集群（分别在itcast04、itcast05、itcast06上启动zk）
cd /home/yang/server/zookeeper-3.4.9/bin
./zkServer.sh start
#查看状态：一个leader，两个follower
./zkServer.sh status
（二），在server01启动journalnode（在server04,05,06上启动所有journalnode，注意：是调用的hadoop-daemon.sh这个脚本，注意是复数s的那个脚本）
cd /home/yang/server/hadoop-2.7.2/sbin/hadoop-daemons.sh start journalnode
运行jps命令检验，server04、server05、server06上多了JournalNode进程
（三），格式化HDFS
在server101上执行命令:hdfs namenode -format
格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/home/yang/server/hadoop-2.7.2/tmp，然后将/home/yang/server/hadoop-2.7.2/tmp拷贝到itcast02的/home/yang/server/hadoop-2.7.2下。
scp -r tmp/ server02:/home/yang/server/hadoop-2.7.2
（四），格式化ZK(在server01上执行即可)
hdfs zkfc -formatZK
（五），启动HDFS(在server01上执行)
/home/yang/server/hadoop-2.7.2/sbin/start-dfs.sh
（六），启动YARN(#####注意#####：是在itcast03上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)
/home/yang/server/hadoop-2.7.2/sbin/start-yarn.s
到此，hadoop配置完毕，可以统计浏览器访问:
http://172.28.94.29:50070
NameNode ‘server01:9000’ (active)
http://172.28.94.26:50070
NameNode ‘server02:9000’ (standby)