完全分布式准备多台虚拟机

完全分布式准备多台虚拟机

完全分布式运行模式（开发重点）

分析
（1）准备3台客户机（关闭防火墙、静态ip、主机名称）
（2）安装JDK
（3）配置环境变量
（4）安装Hadoop
（5）配置环境变量
（6）配置集群
（7）单点启动
（8）配置ssh
（9）群起并测试集群
虚拟机准备
参考 《环境搭建_虚拟机准备》

如果搭建集群要一次成功的话，则需要执行以下测试

1 测试主机名
hostname
2 测试映射
ping 当前主机名
3 测试ip
ifconfig
4 测试防火墙
service iptables status
5 测试文件权限
ll /opt
安装JDK，安装Hadoop并配置环境变量
略

scp（secure copy）安全拷贝
（1）scp定义：
scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）
（2）基本语法

scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
（3）案例实操
以下操作使用dev1账号

（a）在hadoop101上，将hadoop101中/opt/module目录下的软件拷贝到hadoop102上。

cd /opt/module
scp -r /opt/module dev1@hadoop102:/opt/
（b）在hadoop101上，将hadoop101服务器上的/opt/module目录下的软件拷贝到hadoop103上。 （拉）

scp -r /opt/module dev1@hadoop103:/opt/
1
（c）在hadoop103上操作将hadoop101中/opt/module目录下的软件拷贝到hadoop104上。

scp -r /opt/module dev1@hadoop104:/opt/
注意：拷贝过来的/opt/module目录，别忘了在hadoop102、hadoop103、hadoop104上修改所有文件的，所有者和所有者组。

sudo chown dev1:dev1 -R /opt/module
（d）将hadoop101中/etc/profile文件拷贝到hadoop102的/etc/profile上。

sudo scp /etc/profile root@hadoop102:/etc/profile
（e）将hadoop101中/etc/profile文件拷贝到hadoop103的/etc/profile上。

sudo scp /etc/profile root@hadoop103:/etc/profile
（f）将hadoop101中/etc/profile文件拷贝到hadoop104的/etc/profile上。

sudo scp /etc/profile root@hadoop104:/etc/profile
注意：拷贝过来的配置文件别忘了source一下/etc/profile
rsync 快速同步
rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别：
用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。
scp是把所有文件都复制过去。

（1）基本语法

rsync -rvl $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
选项参数说明

（2）案例实操
（a）把hadoop101机器上的/opt/software目录同步到hadoop102服务器的dev1用户下的/opt/目录

rsync -rvl /opt/software/ dev1@hadoop102:/opt/software
Mysync集群分发脚本
（1）需求：循环复制文件到所有节点的相同目录下
（2）需求分析：
（a）rsync命令原始拷贝：

rsync -rvl /opt/module dev1@hadoop103:/opt/

（b）期望脚本：
Mysync要同步的文件名称
（c）说明：在/home/dev1/bin这个目录下存放的脚本，dev1 用户可以在系统任何地方直接执行。
（3）脚本实现
（a）在/home/dev1 目录下创建bin目录，并在bin目录下Mysync创建文件，文件内容如下：

cd /home/dev1
mkdir bin
cd bin/
vim Mysync
在该文件中编写如下代码

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=basename $p1
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=cd -P $(dirname $p1); pwd
echo pdir=$pdir

#4 获取当前用户名称
user=whoami

#5 循环
for((host=102; host<105; host++)); do
echo ------------------- hadoop$host --------------
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done（b）修改脚本 Mysync 具有执行权限

chmod 777 Mysync
（c）调用脚本形式：Mysync 文件名称

Mysync /home/dev1/bin
注意：如果将Mysync放到/home/dev1/bin目录下仍然不能实现全局使用，
可以将Mysync移动到/usr/local/bin目录下。

完全分布式集群配置

1 集群部署规划

2.配置集群
以下操作都使用dev1账户

（1）HDFS配置文件
配置hadoop-env.sh

vim hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

（2）核心配置文件
配置core-site.xml

vim core-site.xml
在该文件中编写如下配置

<!-- 指定HDFS中NameNode的地址 -->
<property>
        <name>fs.defaultFS</name>
      <value>hdfs://hadoop102:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

（3）配置hdfs-site.xml

vim hdfs-site.xml
在该文件中编写如下配置

<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop104:50090</value>
</property>

（4）YARN配置文件
配置yarn-env.sh

vim yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置yarn-site.xml

vim yarn-site.xml
在该文件中增加如下配置

<!-- Reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
</property>

（5）MapReduce配置文件
配置mapred-env.sh

vim mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

在该文件中增加如下配置

<!-- 指定MR运行在Yarn上 -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

3．在集群上分发配置好的Hadoop配置文件
Mysync /opt/module/hadoop-2.7.2/
4．查看文件分发情况
cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml