完全分布式部署Hadoop

**

学习Hadoop要先从部署一个hadoop的集群开始。

一、 首先我们进行分析（流程）

1、 准备3台客户机（可以创建一台直接克隆）

2、设置网络（截图）

3、修改IP地址

先查看IP，修改三个客户机的IP

我的：（可以参考）
192.168.1.122 hadoop122
192.168.1.123 hadoop123
192.168.1.124 hadoop124

vim /etc/sysconfig/network-scripts/ifcfg-ens33

systemctl restart network
ifconfig (变成了你设置的IP了)

4、配置hostname

修改三个客户机的hostname

vim /etc/sysconfig/network

重启客户机
hostname 命令如果不是hadoop122
则 执行
sysctl kernel.hostname=hadoop122
因为我确实没有成功，所以查了这样设置的原因：/etc/sysconfig/network 确实是hostname的配置文件，hostname的值跟该配置文件中的HOSTNAME有一定的关联关系，但是没有必然关系，hostname的值来自内核参数/proc/sys/kernel/hostname，如果我通过命令sysctl kernel.hostname=hadoop122修改了内核参数，那么hostname就变为了hadoop122了。

5、安装并配置jdk

下载好jdk linux版的安装包 我使用的是 jdk1.8.0_144 。安装路径是/opt/module/jdk1.8.0_144

修改环境变量
vim /etc/profile

source /etc/profile 加载环境变量
java -version
查看是不是jdk1.8.0_144版本

这里可能有些会显示原有机器的jdk
alternatives --install /user/bin/java java

6、安装并配置hadoop

下载好hadoop linux版的安装包 我使用的是 hadoop-2.7.2 。安装路径是/opt/module/hadoop-2.7.2 (基本就是把/opt 目录用来做hadoop了）

修改环境变量
vim /etc/profile

source /etc/profile 加载环境变量
hadoop
看看是否显示参数等信息

7、创建一个新的用户，并设置给/opt目录该用户权限

chown -r lichao:lichao /opt

8、免密设置

su - lichao
cd .ssh
ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
ssh-copy-id hadoop122
ssh-copy-id hadoop123
ssh-copy-id hadoop124
（其他两台同上 ）

9、时间同步

root用户
检查是否安装ntp
rpm -q ntp
如果没有则安装
yum install ntp

vi /etc/ntp.conf
修改内容如下：
a）修改1（设置本地网络上的主机不受限制。）
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
b）修改2（设置为不采用公共的服务器）
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
c）添加3（添加默认的一个内部时钟数据，使用它为局域网用户提供服务。）
server 127.127.1.0
fudge 127.127.1.0 stratum 10

vim /etc/sysconfig/ntpd
增加内容如下（让硬件时间与系统时间一起同步）
SYNC_HWCLOCK=yes

重启
service ntpd status
service ntpd start
执行
chkconfig ntpd on

其他两台客户机 （添加定时脚本 10分钟取一次时间）
crontab -e
*/10 * * * * /usr/sbin/ntpdate hadoop102

10、修改hadoop的配置文件

先说一下我的部署规划，因为会影响下面的配置（不懂的话可以看看hadoop的组成）
![在这里插入图片描述](https://img-blog.csdnimg.cn/20191201234941913.png

su - lichao
cd /opt/module/hadoop-2.7.2/etc/hadoop/
vim core-site.xml

添加
<configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop122:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/module/hadoop-2.7.2/data/tmp</value>
        </property>  
</configuration>

vim hadoop-env.sh

修改JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144

vim hdfs-site.xml

添加
<configuration>
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop124:50090</value>
         </property>
</configuration>

vim slaves

改   （注意不要多空格和换行）
hadoop122
hadoop123
hadoop124

vim yarn-env.sh

修改JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144

vim yarn-site.xml

添加
<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop123</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

vim mapred-env.sh

修改JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144

vim mapred-site.xml

添加
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>hadoop121:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>hadoop121:19888</value>
        </property>
</configuration>

11、scp hadoop的配置文件

scp /opt/module/hadoop-2.7.2 lichao@hadoop123:/opt/module/
scp /opt/module/hadoop-2.7.2 lichao@hadoop124:/opt/module/

12、启动hadoop

hadopp122客户机
su - lichao
cd /opt/module/hadoop-2.7.2
先格式化
bin/hdfs namenode -format
sbin/start-dfs.sh
hadopp123客户机
sbin/start-yarn.sh

122客户机jps

123客户机jps

124客户机jps

可以登录http://192.168.1.122:50070/