Hadoop全分布式集群搭建详细步骤
需求
- jdk安装包
- hadoop安装包
- Xshell终端
步骤:
1.创建一台虚拟机
2修改本机ip
3.修改虚拟机ip
4. 关闭防火墙
5. 克隆虚拟机
6. 修改主机映射
7. 连接XSHELL
8. ssh免秘钥
9. 安装JDK和Hadoop
10.配置环境变量
11.修改Hadoop配置文件
12.开启hadoop集群
1. 创建一台完整的虚拟机
此处省略
2. 修改本机ip
找到网络和共享中心 — 更改适配器设置
找到VMware8 — 属性 — IPV4
我的ip是这样修改的,也可以按照你的需求改
3. 修改ip地址(在终端中打开)
vi /etc/sysconfig/network/-scripts/ifcfg-eth0
红色部分是要修改的配置,要根据自己实际情况进行配置
修改完成后 :wq保存退出
执行下面的回环命令
service network restart
看一下是不是4个确定,如果不是的话reboot重启,重启之后ifconfig查看ip是否修改成功(如果没有成功就重启两次),再执行回环命令
完成后ping一下百度查看网络是否没问题:ping www.baidu.com
4. 关闭防火墙
5. 克隆两台虚拟机
克隆两台完整虚拟机,修改两台机的ip和MAC地址,此处不做详细步骤
6. 修改主机映射
vi ./etc/hosts
写三台机的ip和主机名
7. 连接Xshell
三台都连接
用户身份验证 — 输入用户名和密码 — 连接
8. ssh免秘钥
此处省略,如果需要参考请看我的另一篇博客
linux使用ssh免秘钥登录 - CSDN博客
9. 安装JDK和Hadoop
(1)进入/home/soft/ 目录
(2)在soft目录下创建一个jdk和以hadoop目录
(3)查看以安装的jdk:
rpm -qa | grep jdk
(4)将已安装的jdk版本卸载:
rpm -e --nodeps jdk版本
(5)运行命令:
yum install lrzsz
(6)输入rz 上传自己的jdk
(7)解压:
tar -zvxf jdk-8u191-linux-x64.tar.gz (蓝色代表解压后的目录)
(8)改名(可以不改):
mv jdk1.8.0_191/ jdk
(9)Hadoop步骤相同
(10) 完成后输入java和hadoop测试
[root@net1 JDK]# java
[root@net1 JDK]# hadoop
10. 修改环境变量
vi /etc/profile
在最后一行添加下面几行代码,把上面相同的干掉(注意把路径修改为自己的实际路径)
export JAVA_HOME=/home/soft/jdk/jdk
export HADOOP_HOME=/home/soft/hadoop/hadoop
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
修改完wq保存退出
刷新环境变量(只要修改环境变量一定要刷新使其生效)
source /etc/profile
hadoop2和hadoop3相同
11. 修改hadoop配置文件
进入下面的目录(根据自己实际):
cd /home/soft/hadoop/hadoop2.8.5/etc/hadoop/
(1)core-site.xml
vi core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://liu1:9000</value>
</property>
<!--临时变量目录 data name secondary 如果指定了namenode datanode 可以不配-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/soft/hadoop/hadoop/tmp</value>
</property>
<!--流缓冲区大小-->
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
(2)hadoop-env.sh
vi hadoop-env.sh
(3)hdfs-site.xml
vi hdfs-site.xml
<property>
<name>fs.replication</name>
<value>3</value>
</property>
<!--secondarynamenode WEB监控地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>liu3:50090</value>
</property>
(4) yarn-site.xml
vi yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--resourcemanager在哪台主机上-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>liu2</value>
</property>
(5) slaves
(6) mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!--历史服务器监控地址-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>liu2:10020</value>
</property>
<!--历史服务器WEB监控地址-->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>liu2:19888</value>
</property>
<!--历史服务器的记录的最大容纳数-->
<property>
<name>mapreduce.jobhistory.joblist.cache.size</name>
<value>20000</value>
</property>
12. 启动Hadoop集群
第一次开启之前要在namenode所在的机器上,也就是第一台机上,格式化
hdfs namenode -format
开启hadoop
start-all.sh
开启后输入jps验证一下,namenode在第一台机,resourcemanage在第二台机
网页验证:
http:192.168.88.101:50070
http:192.168.88.101:8088
这样集群的搭建就完成了!