Hadoop完全分布式安装

最新推荐文章于 2024-04-25 14:03:09 发布
最新推荐文章于 2024-04-25 14:03:09 发布
阅读量337 收藏 7
点赞数 1
文章标签： Hadoop完全分布式安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44784045/article/details/103270527
版权

Hadoop完全分布式安装

一、准备工作

1、使用三台主机配置Hadoop集群，修改每台主机的hostname

主机的hostname分别改成：master、slave1、slave2，修改hostname的方法如下：

三台主机都使用root用户操作：

第一台主机：hostname master

第二台主机：hostname slave1

第三台主机：hostname slave2
2、配置Hadoop集群的规划
守护进程master slave1 slave2
Namenode是
Datenode是
ResourceManager是
NodeManager是
Journalnode是
Zookeeper是
3、在三台主机上新建hadoop用户，执行命令如下：

三台主机都使用root用户操作：

useradd -m hadoop

并设置hadoop用户密码为hadoop，命令如下：

passwd hadoop，出现如下界面：

在这里插入图片描述
输入一次hadoop回车之后，再输入一次hadoop，回车，完成设置。
在这里插入图片描述

4、时钟同步

所有节点的系统时间要与当前时间保持一致，三台机器都要操作。

下面命令均在root用户下操作：

（1）查看当前系统时间

date

（2）如果系统时间与当前时间不一致，需要进行以下操作

a、如果虚拟机不能上网，执行如下命令：

三台机器同时执行下面命令：（"”里面的时间设置成当前时间，格式只能这么写）

date -s “2019-11-27 20:35:00”

三台机器执行完上面命令之后，再分别执行如下命令，将时间写入系统中。

clock -w

b、如果虚拟机可以上网，三台机器分别执行如下命令：

cp /usr/share/zoneinfo/Asia/Shanghai
/etc/localtime

yum -y install ntp // 在线安装ntp命令

ntpdate pool.ntp.org // 同步日期时间命令

date // 查看当前系统时间，检查是否同步到当前时间

date // 查看当前系统时间，检查是否同步到当前时间

5、配置hosts文件

首先确定三台主机的ip和对应的hostname，比如我的如下：

192.168.42.100 master

192.168.42.101 slave1

192.168.42.102 slave2

然后在三台主机上使用root用户执行如下命令：

vi /etc/hosts

在文件最下面增加三台ip地址和hostname的对应关系，如下图。
在这里插入图片描述
最后保存文件。
注意：原来文件中的内容不要删除。

6、禁用防火墙

三台机器都要操作。

（1）查看防火墙状态

service iptables status

在这里插入图片描述
上图代表主机的防火墙是关闭的。

如果出现下图的状态，代表防火墙是打开的
在这里插入图片描述

需要通过如下命令关闭防火墙：

chkconfig iptables off // 永久关闭防火墙

service iptables stop // 临时关闭防火墙

关闭防火墙之后，再执行如下命令检查一下防火墙是否关闭成功。

service iptables status

7、目录规划

目录需要提前创建，并赋予合理的权限。

名称路径
所有软件目录/home/hadoop/app/
所有数据和日志目录/home/hadoop/data

三台机器都要操作。
创建目录命令如下：
切换到hadoop用户下：su hadoop
切换目录到/home/hadoop：cd~
创建路径：mkdir app
mkdir data

如下所示：
在这里插入图片描述
注意：app和data目录一定在/home/hadoop路径下创建，并且使用hadoop用户创建。

8、配置SSH免密码通信

切换到hadoop用户下进行操作
（1）配置SSH
三台机器都要操作，命令如下：
ssh-keygen -t rsa，输入三次回车。
在这里插入图片描述
cd ~
cd .ssh有如下两个文件：
在这里插入图片描述
cat id_rsa.pub >> authorized keys执行上述命令之后。会有如下三个文件：
在这里插入图片描述
cd … （返回上一级目录）
chmod 700 .ssh/
chmod 600 .ssh/*
然后使用【ssh 主机名】命令测试ssh是否配置成功，比如在master这台机器上输入：ssh master，输入一次yes之后，不提示输入密码，代表ssh免密配置成功。
（2）将每个主机的公钥复制到master认证文件里
三台机器都要操作。
cat ~/.ssh/id_rsa.pub | ssh hadoop@master ‘cat >> ~/.ssh/authorized_keys’
注意：在slave1和slave2上操作需要输入一次yes，并且输入hadoop用户的密码，如下图所示。
在这里插入图片描述
（3）将master中的authorized_keys文件分发到slave1和slave2上面。
在master上操作
scp -r authorized_keys hadoop@slave1:~/.ssh/
scp -r authorized_keys hadoop@slave2:~/.ssh/
操作时需要输入一次yes，并且输入hadoop用户密码。如下所示：
在这里插入图片描述
至此，完成了三台机器SSH免密通信的配置。配置完成后需要进行测试，
在master上输入：
ssh slave1,不提示密码，代表master向slave1免密通信配置成功，如下图所示。
在这里插入图片描述方括号里的主机名由master变成了slave1，代表成功登陆到了slave1上，然后需要输入exit，退出slave1的登陆。退出汁后主机名还是原来的master。（如果不退出，所有的操作都会在slave1机器上进行，所以在操作之前一定要确定自己操作所在的机器是哪台）
ssh slave2,同上。
在slave1上输入：
ssh master,不提示输入密码，代表slave1向master免密通信配置成功。然后输入exit。
ssh slave2,不提示输入密码，代表slave1向slave2免密通信配置成功，然后输入exit。
在slave2上输入:
ssh master,不提示输入密码，代表slave2向master免密通信配置成功。然后输入exit。
ssh slave1,不提示输入密码，代表slave2向slave1免密通信配置成功。然后输入exit。

二、安装JDK

三台机器都要操作

1、解压JDK安装包

使用hadoop用户操作，将JDK安装包上传到/home/hadooop/app下面，上传成功后，进入app目录下ll命令查看，如下图所示：
在这里插入图片描述
进行解压： tar -zxvf jdk-8u211-linux-x64.tar.gz（jdk后按Tab键补齐即可）
解压后，创建jdk的软连接：ln -s jdk1.8.0_211 jdk

2、配置环境变量

切换到root用户，su root，输入root用户的密码。
执行命令:vi /etc/profile
注意：这个文件里的内容不要删除！
将光标移到最后
输入a进行编辑，添加如下内容（这里直接把zookeeper和hadoop的环境变量也添加进去）：

JAVA_HOME=/home/hadoop/app/jdk
ZOOKEEPER_HOME=/home/hadoop/app/zookeeper
HADOOP_HOME=/home/hadoop/app/hadoop
CLASSPATH=.:JAVA_HOME/lib/dt.jar:JAVA_HOME/lib/tools.jar
PATH=JAVA_HOME/bin:ZOOKEEPER_HOME/bin:HADOOP_HOME/bin:HADOOP_HOME/sbin:$PATH
export JAVA_HOME CLASSPATH PATH
ZOOKEEPER_HOME HADOOP_HOME
（上端代码中有符号失效无法显示，对照下图）
在这里插入图片描述然后输入：source /etc/profile,使配置文件生效。
3、验证JDK是否安装成功
输入java -version，验证jdk是否安装成功。
如图显示出java版本号即可

三、Zookeeper安装包

1、解压Zookeeper安装包

在master机器上，使用hadoop用户操作。
将zookeeper安装包上传到/home/hadoop/app/目录下
解压：tar -zxvf zookeeper-3.4.6.tar.gz
重命名：mv zookeeper-3.4.6 zookeeper

2、修改配置文件

cd /home/hadoop/app/zookeeper/conf
复制一个zoo.cfg文件： cp zoo_sample.cfg zoo.cfg
编辑zoo.cfg: vi zoo.cfg修改如下内容：

dataDir=/home/hadoop/data/zookeeper/zkdata
dataLogDir=/home/hadoop/data/zookeeper/zkdatalog
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
在这里插入图片描述

3、将Zookeeper远程发送到slave1和slave2

将zookeeper目录远程发送到slave1和slave2机器上：
cd /home/hadoop/app

scp -r zookeeper hadoop@slave1:/home/hadoop/app/
scp -r zookeeper hadoop@slave2:/home/hadoop/app/

4、创建Zookeeper数据和日志目录

在master、slave1、slave2这三个节点上，分别创建目录：

mkdir -p /home/hadoop/data/zookeeper/zkdata
mkdir -p/home/hadoop/data/zookeeper/zkdatalog
cd /home/hadoop/data/zookeeper/zkdata

创建文件myid，master的myid文件内容为1，slave1的myid文件内容为2，slave2的myid文件内容为3。
以master为例：
vi myid，写入1，退出保存文件。
在这里插入图片描述

5、启动Zookeeper集群

在三台机器上分别启动zookeeper：
cd /home/hadoop/app/zookeeper
bin/zkServer.sh start
启动完之后，用命令bin/zkServer.sh status 检查zookeeper的状态，如下图：
在这里插入图片描述
在这里插入图片描述

四、Hadoop集群环境的搭建

1、解压Hadoop安装包
在master机器上，使用hadoop用户操作。
将hadoop安装包上传到/home/hadoop/app/目录下
解压：tar -zxvf hadoop-2.7.3.tar.gz
2、修改Hadoop配置文件
在master机器上，使用hadoopo用户操作。
切换到Hadoop配置文件目录下：
cd /home/hadoop/app/hadoop/etc/hadoop
将该配置文件上传到该目录下，将原来的文件覆盖掉。

3、将hadoop-2.7.3远程发送到slave1和slave2

在master机器上，使用hadoop用户操作。
scp -r hadoop-2.7.3 hadoop@slave1:/home/hadoop/app/
scp -r hadoop-2.7.3 hadoop@slave2:/home/hadoop/app/

4、创建Hadoop软连接

三台机器都要操作
ln -s hadoop-2.7.3 hadoop

5、启动HDFS

(1)启动journalnode
在master机器上执行:
hadooop - daemons.sh start journalnode
（2）格式化namenode
在master机器上执行：
hdfs namenode - format
（3）格式化高可用
在master机器上执行：
hdfs zkfc - formatZK
（4）启动master上的namenode
在master机器上执行：
hadooop - daemon.sh start namenode
（5）在namenode备节点上执行数据同步
在slave1机器上执行：
hdfs namenode - bootstrapStandby
（6）启动HDFS集群
在master机器上执行：
start - dfs.sh
（7）验证HDFS是否启动成功
启动完成后，在master机器上看到如下进程：
在这里插入图片描述
在slave1上看到如下进程：
在这里插入图片描述
在slave2上看到如下进程：
在这里插入图片描述

输入网址：http://192.168.42.100:50070（master ip），通过这个Web界面查看namenode的启动情况，http://192.168.42.101:50070（slave ip），通过这个Web界面查看namenode的启动情况，看一下哪个是active状态，哪个是standby状态。
在这里插入图片描述
在这里插入图片描述

注意：哪个节点处于active状态或standby状态是不一定的，要由Zookeeper选举所得，且某一时刻只能有一个节点处于active状态。

6、上传文件至HDFS进行测试

在master上操作：

本地新建djt.txt文件：vi djt.txt
向文件中写入三行hadoop dajiangtai
退出保存
在hdfs上创建一个目录：hdfs dfs -mkdir /test
将djt.txt上传至/test：hdfs dfs -put djt.txt /test
查看djt.txt是否上传成功：hdfs dfs -ls /test

7、启动YARN

在master上操作：
start -yarn.sh
在slave1上操作:
yarn-daemon.sh start resourcemanager
启动完成后，在master机器上看到如下进程：
在这里插入图片描述
在slave1上看到如下进程：
在这里插入图片描述
在slave2上看到如下进程：

在这里插入图片描述

输入网址：http://192.168.42.100:8088（master ip），通过这个Web界面查看yarn的启动情况

在这里插入图片描述

输入网址http://192.168.42.101:8088（slave ip），通过这个Web界面查看yarn的启动情况，该网址会自动跳转到master机器上yarn界面。

Serendipity、
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
hadoop环境搭建
weixin_52806015的博客
05-08 1074
参考hadoop官网 具有QJM的NameNode HA_Hadoop 中文网https://hadoop.org.cn/docs/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.htmlhadoop完全分布式 如何您还不懂hadoop 完全分布式可以参考文章 先说一下此篇文章各个节点 master slave1 slave2 Jps jps jps ResourceManager ...
Hadoop完全分布式安装步骤
weixin_46178305的博客
08-28 5901
文章目录第一节：新建虚拟机1、配置类型为“自定义”2、安装来源为“稍后安装操作系统”3、客户机和版本分别为“Linux”和“CenOs7 64位”4、命名虚拟机5、处理器配置6、虚拟机的内存7、网络类型8、磁盘大小9、安装系统1、下一步2、点击 CD/DVD 进入查找系统镜像文件3、点击使用镜像文件4、开启虚拟机进入安装界面5、语言选择6、选择安装位置7、选择“我要配置分区”8、在手动分区界面选择“点击这里自动创建他们”9、点击完成即可10、开始配置网络11、开启连接和点击配置来配置网络12、编辑ens
Hadoop完全分布式安装，全网最详细！
weixin_53492344的博客
03-15 2019
然后回车；
Hadoop 完全分布式搭建（超详细）
热门推荐
JIE的博客 --- moon_coder
10-24 3万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
hadoop完全分布式安装心得
zfboyyy的博客
09-18 1886
1.  虚拟机的克隆 克隆后需要做的事: (1)   虚拟机改ip地址 vim/etc/udev/rules.d/70-persistent-net.rules 删掉eth0,把eth1改为eth0 (2)   配置网卡 vim/etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 TYPE=Ethernet UUID=564d
Hadoop完全分布式搭建
m0_66939712的博客
04-25 1630
另外，只要运行过HDFS，Hadoop的工作目录（本书设置为/usr/local/src/hadoop/tmp）就会有数据，如果需要重新格式化，则在格式化之前一定要先删除工作目录下的数据，否则格式化时会 出问题。可以看出 HDFS 的数据保存在/usr/local/src/hadoop/dfs 目录下，NameNode、 DataNode和/usr/local/src/hadoop/tmp/目录下,SecondaryNameNode 各有一个目 录存放数据。启动完成后，可以使用JPS命令查看是否成功。
hadoop完全分布式集群安装
m0_67394002的博客
09-02 1065
总而言之，这是一种非对称算法，想要破解还是非常有难度的。老实说，我的本本配置显然不够好，原配只有2G内存，但是安装hadoop集群时实在是很让人崩溃，本人亲身体验过后实在无法容忍，所以后来再扩了2G，虽然说性能还是不够好，但是学习嘛，目前这种配置还勉强可以满足学习要求，如果你的硬件配置比这要高是最好不过的了，如果能达到8G，甚至16G内存，学习hadoop表示无任何压力。基本条件准备好了，后面要干实事了，心急了吧，呵呵，别着急，只要跟着本人的思路，一步一个脚印地，一定能成功布署安装好hadoop集群的。
Hadoop完全分布式安装（Centos7+Hadoop2.5.0）
fang.lovest.yang的博客
07-29 955
Hadoop部署模式 Hadoop部署模式有：本地模式、伪分布模式、完全分布式模式、HA完全分布式模式。 区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器。 模式名称 各个模块占用的JVM进程数 各个模块运行在几个机器数上 本地模式 1个 1个 伪分布式模式 .
【Hadoop】完全分布式安装
ht15177518806的博客
06-23 724
这个是最后改好的样子。
Hadoop完全分布式安装教程
03-20
Hadoop完全分布式安装教程 本文档旨在指导用户完成Hadoop的完全分布式安装，涵盖了从虚拟机安装到Hadoop配置文件的详细步骤。本教程适合初学者和中级用户，旨在帮助他们快速掌握Hadoop的安装和配置。 一、Hadoop...
Hadoop技术-Hadoop完全分布式安装.pptx
11-02
"Hadoop技术-Hadoop完全分布式安装" Hadoop技术是当前最流行的分布式计算框架之一，广泛应用于数据存储、数据处理和数据分析等领域。Hadoop完全分布式安装是指在多台机器上安装和配置Hadoop，以便更好地处理大规模...
hadoop完全分布式安装步骤
09-29
### Hadoop完全分布式安装步骤详解 #### 一、实验环境准备 本次实验使用VirtualBox虚拟机作为实验平台，具体的网络配置如下： - **本机Windows IP:** 192.168.3.2 - **台式机IP:** 192.168.3.9 - **笔记本Linux ...
hadoop完全分布式安装配置
05-24
总的来说，Hadoop2.7.6的完全分布式安装配置涉及到多个步骤，包括环境准备、下载安装、配置文件修改、服务启动和验证。这个过程虽然繁琐，但完成后，你将拥有一个强大的分布式大数据处理平台，能处理PB级别的数据。...
[毕业设计]VB开发的高校题库与考试管理系统(源代码+论文).zip
08-06
[毕业设计]VB开发的高校题库与考试管理系统(源代码+论文)
mysql-9.0.1-winx64-debug-test.zip
08-06
mysql
java-springboot+vue疗养院管理系统实现源码(项目源码-说明文档)
最新发布
08-06
java-springboot+vue疗养院管理系统 项目关键技术 开发工具：IDEA 、Eclipse 编程语言: Java 数据库: MySQL5.7+ 后端技术：Springboot 前端技术：Vue、HTML5、css、JavaScript 关键技术：springboot、vue、MYSQL、MAVEN 数据库工具：Navicat、SQLyog
java-springboot+vue教学辅助平台实现源码(项目源码-说明文档)
08-06
java-springboot+vue教学辅助平台 项目关键技术 开发工具：IDEA 、Eclipse 编程语言: Java 数据库: MySQL5.7+ 后端技术：Springboot 前端技术：Vue、HTML5、css、JavaScript 关键技术：springboot、vue、MYSQL、MAVEN 数据库工具：Navicat、SQLyog
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值