Hdoop-2.7.7伪分布式和分布式（三台机器）安装部署详细

最新推荐文章于 2024-07-19 15:48:00 发布

YangMufa(编程小马达)

最新推荐文章于 2024-07-19 15:48:00 发布

阅读量529

点赞数

文章标签：分布式网络 linux 大数据 java

本文链接：https://blog.csdn.net/qq_36823679/article/details/123548462

版权

前提： 虚拟机和Linux环境（ 虚拟机的创建和LinuxCentOS7安装 ）、已成功安装配置好Java1.8（ Java安装 ）、下载好的hadoop安装压缩包。

我们先说一下观看此视频需要使用哪些工具
（1）、Xshell（2）、Xftp6（3）、notepad++（4）、虚拟机、（liunx操作系统）
现在开始讲述hadoop安装过程
打开虚拟机
创建一个新的虚拟机
选择中文即可
更改安装位置
root密码设置为123456
等待安装
在等待安装的过程中，如果没有安装Xshell，Xftp、notepad++工具的可以去群里下载并安装（安装时间过长可以喝杯水压压惊）
输入root和密码
看视频和看笔记的跟着我都是网络没有配置的，所以开始配置网络
进入到此路径
修改ifcfg-ens33：vi ifcfg-ens33
输入一次i进入编辑模式将ONBOOT=no换成ONBOOT=yes
退出保存命令为：先ESC再:wq
输入service network restart重启网络服务即可
输入ip addr查看当前linux系统的IP地址
记住IP地址，打开Xshell软件
新建一个会话
在当前/root根目录下新建一个hadoop的文件夹，命令为mkdir hadoop
查看当前建的文件夹命令ls
进入到hadoop文件夹下上传JDK压缩包
解压jdk压缩包
tar -vzxf jdk-8u141-linux-x64.tar.gz（以后解压命令都是如此，不再做笔记）
配置jdk的环境变量
输入命令vi /etc/profile
export JAVA_HOME=/root/hadoop/jdk1.8.0_141
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
每次修改/etc/profile文件都要输入source /etc/profile一下
测试jdk是否安装成功java -version，如下图
上传hadoop到/root/hadoop文件夹（也就是当前的文件夹）
解压hadoop
修改hadoop的配置文件，进入此文件夹下
cd /root/hadoop/hadoop-2.7.7/etc/hadoop
利用xftp将mapred-site.xml.template、yarn-site.xml、yarn-env.sh、hdfs-site.xml、hadoop-env.sh、core-site.xml找到拉到桌面
修改yarn-env.sh文件，找到第23行，将#去掉，并添加如下图，之后保存
修改hadoop-env.sh文件，找到第25行，修改成如下图，之后保存
修改core-site.xml文件
修改hdfs-site.xml文件，
修改yarn-site.xml文件
先将mapred-site.xml.template修改成mapred-site.xml，修改mapred-site.xml文件
将修改好的六个文件重新放回原处
在/root/hadoop/hadoop-2.7.7文件夹下新建三个文件夹（tmp、namenode、datanode）
配置hadoop的环境变量
虚拟机网络崩溃，重启一下就好了（稍等片刻）
输入reboot命令即可重新启动虚拟机
继续配置hadoop的环境变量
export HADOOP_HOME=/root/hadoop/hadoop-2.7.7
export PATH=${HADOOP_HOME}/bin:$PATH
测试一下hadoop环境变量是否成功
输入hadoop version，出现如图
格式化操作hadoop namenode -format，出现如图
启动伪分布式的hadoop
输入cd /root/hadoop/hadoop-2.7.7/sbin进入到当前文件夹下
输入./start-all.sh启动集群
因为没有配置免密功能，所以此处密码就是root的密码
输入jps查看，如过出现下图六个进程即成功
此处先休息一下，上传视频。
先关闭hadoop集群
输入./stop-all.sh（同上输入密码）
关闭集群后将linux系统关闭
------------------------------------------------------------------------------
以下为搭建分布式
克隆虚拟机的linux系统（此处建议台式电脑在克隆2个，笔记本1个）
克隆后的master（台式机可以修改内存为2，笔记本不修改）
打开master系统（注意此处先后有顺序要求，一定要先master，slave1，slave2且master打开后才开启slave1，同理打开slave2，如果不按顺序，则ip地址和名称不对应
设置网络为静态（防止下次开机ip地址变）
重新进入cd /etc/sysconfig/network-scripts，修改ifcfg-ens33
保存即可
同上操作对slave1、slave2相同（注意两台的ip）
修改名称（台式三台，笔记本两台都要修改）
输入vi /etc/hostname，将里面内容全部清除
master输入master、slave1输入slave1、slave2输入slave2
之后重启
修改前都是如图
修改后
修改hosts文件（台式三台，笔记本两台都要修改），如下图
测试是否修改好hosts文件
在master电脑输入 ping slave1测试 ping slave2测试（如下图）
同上操作在slave1上ping 另外两台是否ping通
观看视频的同学，就会发现我的三台电脑都是可以互相pin通的
经历了伪分布式启动集群一直输入密码，此时我们开始设置免密功能
在三台电脑上都要输入ssh-keygen -t rsa，遇到停顿直接回车即可
进入隐藏文件夹下输入命令cd ~/.ssh
cat id_rsa.pub >> authorized_keys
显示文本密码cat authorized_keys
在master上编辑authorized_keys，将另外的slave1和slave2authorized_keys密码粘贴到master上（此处建议观看视频）
测试免密是否成功
从master上ssh slave1或slave2，测试成功了就退出来，同理slave1，slave2一样操作
继续修改hadoop的配置文件
再次输入 cd /root/hadoop/hadoop-2.7.7/etc/hadoop进入到当前文件夹下
新建master文本命令：vi master 内容输入master
编辑slaves文，将里面内容全部删除，电脑三个节点的输入slave1、slave2，笔记本输入slave1即可
修改hdfs-site.xml文件，如下图，修改后保存，并保存
修改yarn-site.xml文件，将里面的<configuration>全部删除</configuration>
添加如图内容
将yarn-site.xml、hdfs-site.xml覆盖回去
将master配置好的etc复制到slave1与slave2上，命令如下
scp -r /root/hadoop/hadoop-2.7.7/etc/ root@slave1:/root/hadoop/hadoop-2.7.7/
scp -r /root/hadoop/hadoop-2.7.7/etc/ root@slave2:/root/hadoop/hadoop-2.7.7/
启动集群前再次格式化一次
进入到启动集群位置
在master上、slave1、slave2上分别出现下图的进程即可
今天先讲到此处、在关电脑时先关集群的方法在上面已经说过
晚安各位！
-------------------------------------------------------------------------------------------------------------------
我们继续昨天的内容开始
关闭防火墙命令
systemctl stop firewalld.service
systemctl disable firewalld.service
查看是否关闭防火墙命令
firewall-cmd --state
如图显示
启动集群测试端口号是否成功
打开浏览器输入IP:8088和IP:50070（如下图）