Hadoop分布式集群搭建

步骤

• 准备3台客户机（关闭防火墙、静态ip、主机名称）
• 安装JDK
• 配置环境变量
• 安装Hadoop
• 配置环境变量
• 配置集群
• 单点启动
• 配置ssh
• 群起并测试集群

环境准备

分别在三台虚拟机配置端口号为129，130，131

scp（secure copy）安全拷贝

scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

基本语法

scp -r $pdir/$fname  $user@hadoop$host:$pdir/$fname

-r表示递归，只要知道密码就可以实现任意两台服务器之间的拷贝。

案例

需要知道拷贝文件的所有者，以及拷贝过去文件的所有者，否则权限会不足。

（a）在hadoop129上，将hadoop129中/opt/module目录下的软件拷贝到hadoop130上。

scp -r /opt/module root@hadoop130:/opt/module

（b）在hadoop131上，将hadoop129服务器上的/opt/module目录下的软件拷贝到hadoop131上。

sudo scp -r bushro@hadoop129:/opt/module ./

注意：拷贝过来的/opt/module目录，修改所有文件的所有者和所有者组。

sudo chown bushro:bushro -R /opt/module

（c）将hadoop129中/etc/profile文件拷贝到hadoop130的/etc/profile上。

sudo scp /etc/profile root@hadoop130:/etc/profile

（d）将hadoop129中/etc/profile文件拷贝到hadoop131的/etc/profile上。

sudo scp /etc/profile root@hadoop131:/etc/profile

注意：拷贝过来的配置

source /etc/profile

rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

rsync -rvl $pdir/$fname $user@hadoop$host:$pdir/$fname

-r 递归、-v 显示复制过程、-l 拷贝符号连接

xsync集群分发脚本

需求：循环复制文件到所有节点的相同目录下
在/home/bushro目录下创建bin目录，并在bin目录下xsync创建脚本：

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=129; host<=131; host++));do
        echo ------------------- hadoop$host --------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

修改脚本权限

chmod 777 xsync

调用脚本形式：xsync 文件名称

xsync /home/bushro/bin

如果不行的话把脚本放在在/usr/local/bin下

集群配置

集群部署规划

—	hadoop129	hadoop130	hadoop131
HDFS	NameNode,DataNode	DataNode	DataNode,SecondaryNameNode
YARN	NodeManager	ResourceManager,NodeManager	NodeManager

NameNode与SecondaryNameNode的内存关系是1：1,所有它们不能部署在同一台电脑上面。ResourceManager也需要很多的内存，单独一台部署。

（1）核心配置文件

修改129下 /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
		<name>fs.defaultFS</name>
      <value>hdfs://hadoop129:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

（2）HDFS配置文件

配置hadoop-env.sh,修改JAVA_HOME

配置hdfs-site.xml,修改副本，默认值就是3，因为我们使用的是三台服务器所有直接用，并指定辅助节点主机131，SecondaryNameNode

<property>
		<name>dfs.replication</name>
		<value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop131:50090</value>
</property>

（3）YARN配置文件

配置yarn-env.sh，修改JAVA_HOME

配置yarn-site.xml，在该文件中增加如下配置

<!-- Reducer获取数据的方式 -->
<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop130</value>
</property>

（4）MapReduce配置文件

配置mapred-env.sh，修改JAVA_HOME

配置mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

在该文件中增加如下配置

<!-- 指定MR运行在Yarn上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

（5）在集群上分发配置好的Hadoop配置文件

如果是自己家目录的bin的话需要加 ./xsync

xsync /opt/module/hadoop-2.7.2/

集群单节点启动

如果集群是第一次启动，需要格式化NameNode

hadoop namenode -format

SSH无密登录配置

原理

/home/bushro/.ssh目录下执行

ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
ll -a可以查看隐藏文件

将公钥拷贝到要免密登录的目标机器上

[bushro@hadoop129 .ssh]$ ssh-copy-id hadoop129
[bushro@hadoop129 .ssh]$ ssh-copy-id hadoop130
[bushro@hadoop129 .ssh]$ ssh-copy-id hadoop131

注意：
还需要在hadoop129上采用root账号，配置一下无密登录到hadoop129、hadoop130、hadoop131；

还需要在hadoop130上采用bushro账号配置一下无密登录到hadoop129、hadoop130、hadoop131服务器上。因为它是ResourceManager需要分发

• known_hosts 记录ssh访问过计算机的公钥(public key)
• authorized_keys 存放授权过得无密登录服务器公钥

集群启动

配置slaves

编辑/opt/module/hadoop-2.7.2/etc/hadoop/slaves，这里面存放的都是dataNode节点，该文件是被start-dfs.sh调用的

hadoop129
hadoop130
hadoop131

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

文件分发,到130，131

xsync slaves

启动集群

如果集群是第一次启动，需要格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

bin/hdfs namenode -format

启动HDFS

129上面启动

[bushro@hadoop129 hadoop-2.7.2]$ sbin/start-dfs.sh 
Starting namenodes on [hadoop129]
hadoop129: starting namenode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-bushro-namenode-hadoop129.out
hadoop131: starting datanode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-bushro-datanode-hadoop131.out
hadoop130: starting datanode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-bushro-datanode-hadoop130.out
hadoop129: starting datanode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-bushro-datanode-hadoop129.out
Starting secondary namenodes [hadoop131]
hadoop131: starting secondarynamenode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-bushro-secondarynamenode-hadoop131.out

Web端查看SecondaryNameNode
（a）浏览器中输入：http://hadoop104:50090/status.html

启动Yarn

因为ResourceManager在130上面，所以必须在130上面启动

[bushro@hadoop130 hadoop-2.7.2]$ sbin/start-yarn.sh 
starting yarn daemons
starting resourcemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-bushro-resourcemanager-hadoop130.out
hadoop130: starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-bushro-nodemanager-hadoop130.out
hadoop131: starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-bushro-nodemanager-hadoop131.out
hadoop129: starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-bushro-nodemanager-hadoop129.out
You have new mail in /var/spool/mail/root

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。

集群测试

在HDFS上面创建一个文件夹

[bushro@hadoop129 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p /user/bushro/input

上传文件

[bushro@hadoop129 hadoop-2.7.2]$ hdfs dfs -put wcinput/wc.input /
[bushro@hadoop129 hadoop-2.7.2]$ hdfs dfs -put /opt/hadoop-2.7.2.tar.gz /

一大一小，大的超过了128M,它会分块存储。
上传的文件存储在/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-1080591534-192.168.233.129-1572886510354/current/finalized/subdir0/subdir0目录下



块0和块1对应Linux的两块数据，可以把他们合并成一个文件然后解压，看是不是原来那个文件

[bushro@hadoop129 subdir0]$ cat blk_1073741828>>tmp.file
[bushro@hadoop129 subdir0]$ cat blk_1073741829>>tmp.file
[bushro@hadoop129 subdir0]$ tar -zxvf tmp.file

集群启动/停止方式

1.各个服务组件逐一启动/停止

（1）分别启动/停止HDFS组件

hadoop-daemon.sh  start / stop  namenode / datanode / secondarynamenode

（2）启动/停止YARN

yarn-daemon.sh  start / stop  resourcemanager / nodemanager

2. 各个模块分开启动/停止（配置ssh是前提）常用

（1）整体启动/停止HDFS

start-dfs.sh   /  stop-dfs.sh

（2）整体启动/停止YARN

start-yarn.sh  /  stop-yarn.sh

集群时间同步

• 需要关闭防火墙，今天在使用ntpdate同步服务器时间的时候，出现“no server suitable for synchronization found”的错误提示，这样的提示多数是因为防火墙封锁了udp的123端口

时间同步的方式：找一个机器如（129），作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。

1. 时间服务器配置（必须root用户）

（1）检查ntp是否安装

[root@hadoop129 ~]# rpm -qa|grep ntp
ntp-4.2.6p5-28.el7.centos.x86_64
ntpdate-4.2.6p5-28.el7.centos.x86_64
fontpackages-filesystem-1.44-8.el7.noarch
python-ntplib-0.3.2-1.el7.noarch

（2）修改ntp配置文件

vim /etc/ntp.conf

修改1（授权192.168.233.0-192.168.233.255网段上的所有机器可以从这台机器上查询和同步时间），去掉#并修改

restrict 192.168.233.0 mask 255.255.255.0 nomodify notrap

修改2（集群在局域网中，不使用其他互联网上的时间），加上#号

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步），末尾添加

server 127.127.1.0
fudge 127.127.1.0 stratum 10

（3）修改/etc/sysconfig/ntpd 文件

vim /etc/sysconfig/ntpd

增加内容如下（让硬件时间与系统时间一起同步）

SYNC_HWCLOCK=yes

（4）重新启动ntpd服务

centos7
[root@hadoop129 ~]# systemctl stop ntpd.service
[root@hadoop129 ~]# systemctl start ntpd.service
centos6
service ntpd start
service ntpd stop

（5）设置ntpd服务开机启动

centos7
systemctl enable ntpd.service
centos6
chkconfig ntpd on

其他机器配置

（1）在其他机器配置10分钟与时间服务器同步一次

[root@hadoop130 ~]# crontab -e

编写定时任务如下：

*/10 * * * * /usr/sbin/ntpdate hadoop129

（2）修改任意机器时间

[root@hadoop130 ~]# date -s "2017-9-11 11:11:11"

（3）十分钟后查看机器是否与时间服务器同步

[root@hadoop129 ~]# date

测试的时候可以将10分钟调整为1分钟，节省时间。