全分布式集群搭建 -@程序猿的day01

Hadoop全分布式集群搭建详细步骤

需求

• jdk安装包
• hadoop安装包
• Xshell终端

步骤：

1.创建一台虚拟机
2修改本机ip
3.修改虚拟机ip
4. 关闭防火墙
5. 克隆虚拟机
6. 修改主机映射
7. 连接XSHELL
8. ssh免秘钥
9. 安装JDK和Hadoop
10.配置环境变量
11.修改Hadoop配置文件
12.开启hadoop集群

1. 创建一台完整的虚拟机

此处省略

2. 修改本机ip

找到网络和共享中心 — 更改适配器设置

找到VMware8 — 属性 — IPV4

我的ip是这样修改的，也可以按照你的需求改

3. 修改ip地址（在终端中打开）

vi /etc/sysconfig/network/-scripts/ifcfg-eth0

红色部分是要修改的配置，要根据自己实际情况进行配置
修改完成后 ：wq保存退出
执行下面的回环命令

service network restart 

看一下是不是4个确定，如果不是的话reboot重启，重启之后ifconfig查看ip是否修改成功（如果没有成功就重启两次），再执行回环命令

完成后ping一下百度查看网络是否没问题：ping www.baidu.com

4. 关闭防火墙

5. 克隆两台虚拟机

克隆两台完整虚拟机，修改两台机的ip和MAC地址，此处不做详细步骤

6. 修改主机映射

vi ./etc/hosts

写三台机的ip和主机名

7. 连接Xshell

三台都连接

用户身份验证 — 输入用户名和密码 — 连接

8. ssh免秘钥

此处省略，如果需要参考请看我的另一篇博客
linux使用ssh免秘钥登录 - CSDN博客

9. 安装JDK和Hadoop

(1)进入/home/soft/ 目录
(2)在soft目录下创建一个jdk和以hadoop目录
(3)查看以安装的jdk：

rpm -qa | grep jdk

(4)将已安装的jdk版本卸载:

rpm -e --nodeps jdk版本

(5)运行命令：

yum install lrzsz

(6)输入rz 上传自己的jdk
(7)解压：

 tar -zvxf jdk-8u191-linux-x64.tar.gz （蓝色代表解压后的目录）

(8)改名（可以不改）：

mv jdk1.8.0_191/ jdk

(9)Hadoop步骤相同
(10) 完成后输入java和hadoop测试

[root@net1 JDK]# java
[root@net1 JDK]# hadoop

10. 修改环境变量

vi /etc/profile

在最后一行添加下面几行代码，把上面相同的干掉（注意把路径修改为自己的实际路径）

export JAVA_HOME=/home/soft/jdk/jdk
export HADOOP_HOME=/home/soft/hadoop/hadoop
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

修改完wq保存退出
刷新环境变量(只要修改环境变量一定要刷新使其生效)

source /etc/profile

hadoop2和hadoop3相同

11. 修改hadoop配置文件

进入下面的目录(根据自己实际)：

cd /home/soft/hadoop/hadoop2.8.5/etc/hadoop/

(1)core-site.xml

vi core-site.xml

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://liu1:9000</value>
</property>

<!--临时变量目录  data  name   secondary   如果指定了namenode datanode 可以不配-->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/soft/hadoop/hadoop/tmp</value>
</property>
<!--流缓冲区大小-->
<property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
</property>

(2)hadoop-env.sh

vi hadoop-env.sh

(3)hdfs-site.xml

vi hdfs-site.xml

<property>
        <name>fs.replication</name>
        <value>3</value>
</property>

<!--secondarynamenode   WEB监控地址-->
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>liu3:50090</value>
</property>

(4) yarn-site.xml

vi yarn-site.xml

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!--resourcemanager在哪台主机上-->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>liu2</value>
</property>

(5) slaves

(6) mapred-site.xml

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

<!--历史服务器监控地址-->
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>liu2:10020</value>
</property>

<!--历史服务器WEB监控地址-->
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>liu2:19888</value>
</property>
<!--历史服务器的记录的最大容纳数-->
<property>
        <name>mapreduce.jobhistory.joblist.cache.size</name>
        <value>20000</value>
</property>

12. 启动Hadoop集群

第一次开启之前要在namenode所在的机器上，也就是第一台机上，格式化

hdfs namenode -format

开启hadoop

start-all.sh

开启后输入jps验证一下,namenode在第一台机，resourcemanage在第二台机

网页验证：
http:192.168.88.101:50070
http:192.168.88.101:8088

这样集群的搭建就完成了！