Hadoop学习2：完全分布集群搭建

最新推荐文章于 2024-10-30 15:03:03 发布
最新推荐文章于 2024-10-30 15:03:03 发布
阅读量1.1k 收藏 9
点赞数 9
分类专栏： 大数据 文章标签： hadoop 学习 大数据 完全分布集群搭建 集群 完全分布式 Fully
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39651356/article/details/136638959
版权

文章目录

Fully-Distributed Operation（完全分布模式）== 重点

参考： https://hadoop.apache.org/docs/r3.3.6/hadoop-project-dist/hadoop-common/ClusterSetup.html
 
切记、切记、切记： hadoop所有配置文件涉及主机相关，都使用域名进行配置，别使用具体主机的IP，否则会遇到奇奇怪怪的效果，整个搭建，请以步骤0的标准为参考搭建，其他步骤中涉及IP的配置请忽略。

机器环境同步

自行使用我写的多机文件同步脚本，同步一台机器的jdk、hadoop、脚本等文件： https://blog.csdn.net/weixin_39651356/article/details/136593905

集群规划
192.168.19.107192.168.19.108192.168.19.109
HDFSNameNode、DataNodeDataNodeSecondaryNameNode、DataNode
YARNNodeManagerResourceManager、NodeManagerNodeManager
配置文件修改以及同步

配置一键同步脚本： https://blog.csdn.net/weixin_39651356/article/details/136593905

步骤0：下面其他步骤涉及修改配置以这里为准（要不然部署使用过程会有很多问题）
通用配置（三台节点机器）

 
静态DNS文件：/etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.19.107 zookeeper107 hadoop107
192.168.19.108 zookeeper108 hadoop108
192.168.19.109 zookeeper109 hadoop109

在这里插入图片描述

 
 
 
集群机器信息：/opt/module/hadoop-3.3.6/etc/hadoop/workers

hadoop107
hadoop108
hadoop109

在这里插入图片描述

 
 
 
hadoop组件公共配置：/opt/module/hadoop-3.3.6/etc/hadoop/core-site.xml

<configuration>


<!-- 默认是本地文件协议 file: == NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop107:9000</value>
</property>


<!-- 临时目录 默认/tmp/hadoop-${user.name} == 或者也可以是数据目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.3.6/tmp</value>
</property>

<!-- HDFS网页登录时使用的用户，使其具有可以在网页删除文件的权限，默认【dr.who】 -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>

</configuration>

在这里插入图片描述

 
 
 
hadoop-dfs分布式文件组件配置：/opt/module/hadoop-3.3.6/etc/hadoop/hdfs-site.xml

<configuration>

<!-- 集群设置为1， 默认3 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- dfs页面查看文件内容 -->
<!--
<property>
<name>dfs.datanode.http.address</name>
<value>192.168.19.107:9864</value>
</property>
-->
<!-- dfs页面访问地址 -->

<property>
<name>dfs.namenode.http-address</name>
<value>hadoop107:9870</value>
</property>

<!-- namenode的备份节点 == RPC协议改成http协议 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop109:9868</value>
</property>

</configuration>

在这里插入图片描述

 
 
 
hadoop-yarn节点、资源管理组件配置：/opt/module/hadoop-3.3.6/etc/hadoop/hdfs-site.xml

<configuration>

<!-- Site specific YARN configuration properties == https://hadoop.apache.org/docs/r3.3.6/hadoop-yarn/hadoop-yarn-common/yarn-defa
ult.xml -->

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>


<!--资源管理节点的IP地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop108</value>
</property>



<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_H
OME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
</property>

<!--
<property>
<name>yarn.timeline-service.hostname</name>
<value>192.168.19.107</value>
</property>
-->


<!-- 日志聚集启动 -->
<!--
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
-->
<!-- 日志聚集的日志保留的时间，单位秒 -->
<!--
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>2592000</value>
</property>
-->

</configuration>

在这里插入图片描述

 
 
 
hadoop-mapred节点、资源管理组件配置： /opt/module/hadoop-3.3.6/etc/hadoop/mapred-site.xml

<configuration>


<!-- The runtime framework for executing MapReduce jobs. Can be one of local, classic or yarn -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>


<property>
<name>mapreduce.application.classpath</name>
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>

<!-- mr运行日志采集系统配置 -->
<!--
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.19.107:10020</value>
</property>

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.19.107:19888</value>
</property>
-->


</configuration>

在这里插入图片描述

 
 
 
添加JDK环境变量： /opt/module/hadoop-3.3.6/etc/hadoop/hadoop-env.sh、/opt/module/hadoop-3.3.6/etc/hadoop/yarn-env.sh、/opt/module/hadoop-3.3.6/etc/hadoop/mapred-env.sh

export JAVA_HOME=/www/server/jdk8/jdk1.8.0_202

在这里插入图片描述

 
 
 
系统环境变量配置：/etc/profile

# 文件末尾添加如下配置 == 修改此文件后，需使用 source /etc/profile，使其加载入系统生效
JAVA_HOME=/www/server/jdk8/jdk1.8.0_202
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin/:/www/server/liquibase
export PATH JAVA_HOME CLASSPATH


## Hadoop
export HADOOP_HOME=/opt/module/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin:/opt/module/script

# 如果hadoop使用root用户启动，必须配这玩意
HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root


export HDFS_NAMENODE_USER HDFS_DATANODE_USER HDFS_SECONDARYNAMENODE_USER YARN_RESOURCEMANAGER_USER YARN_NODEMANAGER_USER

在这里插入图片描述

个性化配置-192.168.19.107

需重启电脑生效

机器域名：/etc/hostname

hadoop107

在这里插入图片描述

个性化配置-192.168.19.108

需重启电脑生效

机器域名：/etc/hostname

hadoop108

在这里插入图片描述

 
 
 
一键同步配置到另外两台机器：同步脚本自行参考我的另一篇博客 https://blog.csdn.net/weixin_39651356/article/details/136593905?spm=1001.2014.3001.5502

xsyncByFile /opt/module/hadoop-3.3.6/etc/hadoop
个性化配置-192.168.19.109

需重启电脑生效

机器域名：/etc/hostname

hadoop109

在这里插入图片描述

个性化配置-到时访问dfs、yarn页面的个人电脑

静态DNS：C:\Windows\System32\drivers\etc\hosts

192.168.19.107 hadoop107
192.168.19.107 zookeeper107
192.168.19.108 hadoop108
192.168.19.108 zookeeper108
192.168.19.109 hadoop109
192.168.19.109 zookeeper109

在这里插入图片描述

步骤1：配置修改【192.168.19.107】

/opt/module/hadoop-3.3.6/etc/hadoop/hadoop-env.sh
在这里插入图片描述

 
/opt/module/hadoop-3.3.6/etc/hadoop/core-site.xml
在这里插入图片描述

<configuration>


<!-- 默认是本地文件协议 file: -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.19.107:9000</value>
</property>


<!-- 临时目录 默认/tmp/hadoop-${user.name} -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.3.6/tmp</value>
</property>


</configuration>

 
/opt/module/hadoop-3.3.6/etc/hadoop/hdfs-site.xml
在这里插入图片描述

<configuration>

<!-- 集群设置为1， 默认3 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- namenode的备份节点 == RPC协议改成http协议 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.19.109:9868</value>
</property>

</configuration>

 
/opt/module/hadoop-3.3.6/etc/hadoop/yarn-env.sh
在这里插入图片描述

 
/opt/module/hadoop-3.3.6/etc/hadoop/yarn-site.xml
在这里插入图片描述

<configuration>

<!-- Site specific YARN configuration properties == https://hadoop.apache.org/docs/r3.3.6/hadoop-yarn/hadoop-yarn-common/yarn-default.xml -->

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<!--资源管理节点的IP地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.19.108</value>
</property>



<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
</property>


<property>
<name>yarn.timeline-service.hostname</name>
<value>192.168.19.107</value>
</property>


<!-- 日志聚集启动 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志聚集的日志保留的时间，单位秒 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>2592000</value>
</property>

</configuration>

 
/opt/module/hadoop-3.3.6/etc/hadoop/mapred-env.sh
在这里插入图片描述

 
/opt/module/hadoop-3.3.6/etc/hadoop/mapred-site.xml
在这里插入图片描述

<configuration>


<!-- The runtime framework for executing MapReduce jobs. Can be one of local, classic or yarn -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>


<property>
<name>mapreduce.application.classpath</name>
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>

<!-- mr运行日志采集系统配置 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.19.107:10020</value>
</property>

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.19.107:19888</value>
</property>


</configuration>
步骤2：配置同步

 
 

在这里插入图片描述

步骤3：格式化集群中的dfs主节点

192.168.19.107

# 格式化主dfs中的数据，确保运行此命令时dfs进程已停止



# 日志目录删除
rm -rf /opt/module/hadoop-3.3.6/logs && rm -rf /opt/module/hadoop-3.3.6/tmp


# 开始格式化
hdfs namenode -format

192.168.19.108、192.168.19.109

# 删除从节点这两个目录即可，无需运行dfs格式化命令
# 日志目录删除
rm -rf /opt/module/hadoop-3.3.6/logs && rm -rf /opt/module/hadoop-3.3.6/tmp
步骤4：手动启动（步骤4、5选择其中一个）
步骤4.1：192.168.19.107的DFS的相关节点启动
cd /opt/module/hadoop-3.3.6/sbin

bash hadoop-daemon.sh start namenode

bash hadoop-daemon.sh start datanode

在这里插入图片描述

步骤4.2：192.168.19.108的DFS的相关节点启动
cd /opt/module/hadoop-3.3.6/sbin


bash hadoop-daemon.sh start datanode

在这里插入图片描述

步骤4.3：192.168.19.109的DFS的相关节点启动
cd /opt/module/hadoop-3.3.6/sbin


# 可使用命令替代：hdfs --daemon stop namenode secondarynamenode
bash hadoop-daemon.sh start datanode

bash hadoop-daemon.sh start secondarynamenode

在这里插入图片描述

步骤5：一键启动（无需一个一个节点启动）== （步骤4、5选择其中一个）

more /opt/module/hadoop-3.3.6/etc/hadoop/workers == 集群服务器的信息进行配置
在这里插入图片描述

在这里插入图片描述

/opt/module/hadoop-3.3.6/sbin/start-dfs.sh == 脚本一键启动集群
在这里插入图片描述

在这里插入图片描述

步骤6：一键启动yarn集群

注意： ResourceManager节点在哪台机器，则有哪台机器运行此脚本

start-yarn.sh

在这里插入图片描述

步骤7：启动mapred计算历史过程服务程序historyserver
mapred --daemon start historyserver

在这里插入图片描述

步骤8：访问页面查看集群是否生效
dfs页面

浏览器访问： http://192.168.19.107:9870/

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

yarn页面

浏览器访问： http://192.168.19.108:8088/cluster

在这里插入图片描述

在这里插入图片描述

yarn调用dfs里面的文件使用mapreduce计算开始

hadoop jar /opt/module/hadoop-3.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /wordCountData /wordCountDataOutput

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

嗯嗯**
关注
专栏目录
Hadoop完全分布集群搭建配置.docx
10-30
【Hadoop完全分布集群搭建配置】 在搭建Hadoop完全分布式集群的过程中，首先需要理解Hadoop的基本架构。Hadoop是Apache基金会开发的一个开源大数据处理框架，它由HDFS（Hadoop Distributed File System）和...
docker搭建hadoop集群（为分布式、完全分布式）
weixin_40548182的博客
08-27 9704
第1章 写在前面必读 1.1 Hadoop生态简单说明 说明：hadoop只是一个存储数据的平台，mapreduce是一个计算框架，需要编程人员去编写处理数据的程序。然后hadoop是一个生态，就是说在其上还运行着hbase数据库，sqoop，shark等等工具，这样才能将hadoop存储的数据加以利用。Hbase是一种时序数据库，可用来往hadoop写数据，并通过hadoop读取数据，搭建这些的时候还要用到zookeeper软件去管理消息。总之hadoop生态涉及的东西太多，学习起来复杂，但是并不难，就是
Hadoop 三大运行模式--＞本地运行模式
风口IT猪的成长录
09-04 750
Hadoop 运行模式-->本地运行模式Hadoop 运行模式本地运行模式 Hadoop 运行模式 1）Hadoop 官方网站：http://hadoop.apache.org/ 2）Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。 伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。 完全分布式模式：多台服务器组成分布式环境。生产
【Hadoop】完全分布式集群搭建
你不来，再美的天地，都狼藉 ~
03-23 7795
一学就会，Hadoop完全分布式（集群）搭建
Hadoop全分布环境搭建
懵懂bigdata象
11-22 893
Hadoop全分布环境搭建一、准备工作二、开始安装配置 环境 Vmware+centos7+jdk8+hadoop-2.7.3 说明 hadoop全分布模式需要三台主机：ethan001,ethan002,ethan003 主机分布规划: 主节点：ethan001 从节点：ethan002 ethan003 一、准备工作 1、hadoop安装包，hadoop-2.7.3.tar 提码：1111 2、三台安装好jdk的虚拟机，jdk安装教程 3、所有主机都配置好主机名映射关系 vi /etc/host
Hadoop 完全分布式搭建（超详细）
热门推荐
JIE的博客 --- moon_coder
10-24 4万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
Hadoop完全分布式集群总结
01-07
文章目录Hadoop完全分布式集群搭建一、新建虚拟机二、规划集群与服务1、逻辑结构2、物理结构3、总结构三、配置集群1、主节点基础网络配置1.1、配置固定ip地址1.2、修改主机名1.3、配置dns1.4、配置 ip 地址和主机名...
hadoop集群搭建
12-04
### Hadoop集群搭建详解 #### 一、概述 在大数据处理领域，Hadoop因其出色的分布式存储与计算能力而被广泛采用。本文将详细介绍如何搭建一个Hadoop单机集群，并通过三台虚拟机来实现这一过程。我们将从创建虚拟机...
Hadoop简介及Apache Hadoop三种搭建方式
03-30
在这种模式下，Hadoop分布在多台物理或虚拟机上，每个组件都在不同的节点上运行，提供了高可用性和容错性。 在搭建Hadoop环境时，首先需要配置虚拟机，包括CPU、内存、磁盘和网络设置。对于CPU，通常选择与物理机...
Hadoop全分布模式环境搭建[超详细]
12-03
自己总结的Hadoop全分布模式环境搭建。
hadoop完全分布
08-16
Hadoop完全分布式详细安装图解教程.pdf
在Centos7下安装Hadoop的完全分布
weixin_66547608的博客
03-11 1364
在虚拟机上Hadoop完全分布安装，超级详细，小白闭眼入，以最快的方式叫你安装
Hadoop全分布（详细步骤，无ip配置）
Bigdata_jack的博客
10-11 447
虚拟机环境准备 准备三台虚拟机 关闭防火墙 [root@master ~]# systemctl stop firewalld [root@master ~]# systemctl disable firewalld 添加主机映射 [root@master ~]# vim /etc/hosts 分发映射 [root@master ~]# scp /etc/hosts slave1:/etc/hosts [root@master ~]# scp /etc/hosts slave2:/e
分布和集群的区别
知也无涯
10-13 3591
分布式与集群的联系与区别 集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性与可用性的服务平台。在客户端看来，一个集群就象是一个服务实体，但事实上集群由一组服务实体组成。与单一服务实体相比较，集群提供了以下两个关键特性： 先说区别： 一句话：分布式是并联工作的，集群是串联工作的。 1：分布式是指将不同的业务分布在不同的地方。 而集群指的是将几台服务器集中在一起，实现
Hadoop完全分布安装部署
最新发布
entaoSir的博客
10-30 1003
推荐全程使用SSH客户端，原生无可视化的Linux无法粘贴，而这次很多内容都需要粘贴。---遇到问题可以在评论区提出，如果比较典型我会补充在下面---注意看好自己的安装的文件名字（版本号）查看自己的用户名是否修改成功。
超详细的hadoop完全分布式集群的搭建
programmer_trip的博客
06-05 4794
HDFS (hadoop distributed file system) : hadoop分布式文件系统 环境: 这是学习使用的,因为用虚拟机,通过root用户进行搭建 一.创建一个虚拟机 had01 ,网络连接方式均为NAT模式 搭建步骤: 首先创建一个hdp01
Hadoop完全分布
zjy15737869372的博客
12-13 1843
一、核心文件配置 1、从Linux中获取jdk路径 echo $JAVA_HOME 配置hadoop-env.sh cd /opt/module/hadoop-3.1.3/etc/hadoop/ vi hadoop-env.sh 将配置文件修改如下保存并退出 配置core-site.xml vi core-site.xml 将下列命令粘贴进去 <?xml version="1.0" encoding="UTF-8"?> <?xml-styl...
【Hadoop全分布式环境搭建】
pblh123的专栏
09-06 4300
Hadoop全分布式集群搭建，ntp时间同步，免密登录，hadoop一键启动
Linux Hadoop搭建指南：单机-伪分布式-完全分布详解
本篇文章是关于Linux Hadoop的搭建指南，它详细介绍了在Linux环境下搭建Hadoop集群的全过程，特别关注了三种不同的运行模式：单机模式、伪分布模式和完全分布式模式。首先，文章的前半部分着重于环境配置，这部分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值