hadoop3.3.6完全分布式搭建

已于 2024-09-13 11:25:44 修改
阅读量463 收藏 6
点赞数 6
文章标签： 分布式 hadoop 大数据
于 2024-09-13 10:53:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AMRXC/article/details/142202557
版权

hadoop完全分布式安装配置需要使用 root 用户和 hadoop 用户完成相关配置，使用三个节点完成 Hadoop 完全分布式安装配置。命令中使用绝对路径，hadoop版本为3.3.6。

（1）在 master 节点中的 /opt/software 目录下将文件 hadoop-3.3.6.tar.gz 安装包解压到 /opt/module 路径中；

# 在master上执行
tar -zxvf /opt/software/hadoop-3.3.6.tar.gz -C /opt/module

（2）在 master 节点中将解压的 Hadoop 安装目录重命名为 hadoop ，并修改该目录下的所有文件的所属者为 hadoop，所属组为 hadoop；

# 在master上执行
mv /opt/module/hadoop-3.3.6.tar.gz /opt/module/hadoop
chown -R hadoop:hadoop /opt/module/hadoop

（3）在 master 节点中使用 hadoop 用户依次配置 hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-env.sh、mapred-site.xml、yarn-env.sh、yarn-site.xml、workers 配置文件，Hadoop 集群部署规划如下表；

服务器masterslave1slave2
HDFSNameNode
HDFSSecondaryNameNode
HDFSDataNodeDataNodeDataNode
YARNResourceManager
YARNNodeManagerNodeManagerNodeManager
历史日志服务器JobHistoryServer

配置hadoop-env.sh

# 在master上执行
vi /opt/module/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/module/jdk
export HADOOP_HOME=/opt/module/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/log

配置core-site.xml 

# 在master上执行
vi /opt/module/hadoop/etc/hadoop/core-site.xml
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9000</value>
	</property>
</configuration>

配置hdfs-site.xml 

# 在master上执行
vi /opt/module/hadoop/etc/hadoop/hdfs-site.xml
<configuration>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>

	<property>
		<name>dfs.namenode.hosts</name>
		<value>master,slave1,slave2</value>
	</property>

	<property>
		<name>dfs.blocksize</name>
		<value>268435456</value>
	</property>
</configuration>

配置mapred-env.sh

# 在master上执行
vi /opt/module/hadoop/etc/hadoop/mapred-env.sh
export JAVA_HOME=/opt/module/jdk

配置mapred-site.xml

# 在master上配置
vi /opt/module/hadoop/etc/hadoop/mapred-site.xml
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
		<name>yarn.app.mapreduce.am.env</name>
		<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	</property>

	<property>
		<name>mapreduce.map.env</name>
		<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	</property>

	<property>
		<name>mapreduce.reduce.env</name>
		<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	</property>
<configuration>

配置yarn-env.sh

# 在master上配置
vi /opt/module/hadoop/etc/hadoop/yarn-env.sh
export JAVA_HOME=/opt/module/jdk
export HADOOP_HOME=/opt/module/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

 配置yarn-site.xml

# 在master上配置
vi /opt/module/hadoop/etc/hadoop/yarn-site.xml
<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>

    <property>
	    <name>yarn.nodemanager.aux-services</name>
	    <value>mapreduce_shuffle</value>
    </property>

    <property>
	    <name>yarn.log-aggregation-enable</name>
    	<value>true</value>
    </property>

    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>
</configuration>

配置workers

vi /opt/module/hadoop/etc/hadoop/workers
master
slave1
slave2

 （4）在 master 节点中使用 scp 命令将配置完的 hadoop 安装目录直接拷贝
至 slave1 和 slave2 节点；

# 在master上执行
scp -r /opt/module/hadoop slave1:/opt/module
scp -r /opt/module/hadoop slave2:/opt/module

（5）在 slave1 和 slave2 节点中将 hadoop 安装目录的所有文件的所属者为 hadoop，所属组为 hadoop； 

# 在slave1上执行
chown -R hadoop:hadoop /opt/module/hadoop
# 在slave2上执行
chown -R hadoop:hadoop /opt/module/hadoop

（6）在三个节点的 /etc/profile 文件中配置 Hadoop 环境变量 HADOOP_HOME 和 PATH 的值，并让配置文件立即生效；

# 在三台服务器执行
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

（7） 在 master 节点中初始化 Hadoop 环境 namenode；

# 在master上执行
hadoop namenode -format

（8） 在 master 节点中依次启动 HDFS、YARN 集群和历史服务。在 master 上将执行命令 jps 查看java进程情况；

# 在master上执行
start-dfs.sh
start-yarn.sh
mapred --daemon start historyserver
jps
# jps输出结果如下
NameNode
DataNode
SecondaryNameNode
NodeManager
ResourceManager
JobHistoryServer
Jps

 （9） 在 slave1 上将执行命令 jps 查看java进程情况；

# 在slave1上执行
jps
# jps输出结果如下
DataNode
NodeManager
Jps
平台搭建与运维
关注
Hadoop集群搭建（分布式安装）
m0_56569058的博客
09-15 137
4、可靠性（Rellable）：能自动维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。1、扩容能力（Scalable）：Hadoop是在可用的计算机集群间分配数据并完成计算任务的，这些集群可用方便的扩展到数以千计的节点中。HADOOP_HOME=/home/hadoop/hadoop-3.3.6#你下载的对应的Hadoop版本号。3、高效率（Efficient）：通过并发数据，Hadoop可以在节点之间动态并行的移动数据，使得速度非常快。
Hadoop完全分布式搭建过程、maven和eclipse配置hadoop开发环境、配置Map/Reduce Locations、简单wordcount测试!
SnowJ666的博客
01-04 1589
** Hadoop完全分布式搭建 ** 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： ...
Hadoop-3.3.6完全分布式集群搭建
m0_62929925的博客
09-10 1272
右击创建好的虚拟机hadoop base，选择管理-克隆-点击下一步-虚拟机中的当前状态-下一步-创建完整克隆-下一步-设置克隆机名称，安装位置-完成。设置静态ip，与主节点ljl的hosts文件保持一致，设置成功重启网络。首先进入hadoop所在配置文件目录/usr/local/src/Hadoop-3.3.6/etc/hadoop，在此目录打开终端。打开Xshell7,左上角新建文件，在弹出框设置两个从节点的名称和ip地址，然后连接，随后输入root账号密码完成连接。回到主节点ljl，执行。
Hadoop 3.3.6分布式集群环境搭建
liaodaoguo的博客
11-13 722
一共准备了3台centOS虚拟机，master、slave1、slave2在 %wheel下一行添加内容注意：要所有服务器执行完上面命令才进行下面的操作其他主机上同理执行。
Hadoop3.3.6完全分布式集群【三个节点】的安装配置
weixin_45962133的博客
07-12 1375
hadoop3.3.6完全分布式集群部署，三个节点配置
Hadoop完全分布式集群搭建
YYY7769的博客
04-21 1979
另外，只要运行过 HDFS，Hadoop 的 工作目录（本书设置为/usr/local/src/hadoop/tmp）就会有数据，如果需要重 新格式化，则在格式化之前一定要先删除工作目录下的数据，否则格式化时会 出问题。可以看出 HDFS 的数据保存在/usr/local/src/hadoop/dfs 目录下，NameNode、 DataNode和/usr/local/src/hadoop/tmp/目录下,SecondaryNameNode 各有一个目 录存放数据。这里使用第一种方法。
HDFS完全分布式集群搭建与配置及常见问题总结
m0_73734232的博客
09-15 1254
在搭建和配置HDFS分布式集群时，我们往往会遇到很多问题，本文总结了一些比较常见的问题和解决问题的方法，希望对大家有些帮助哦。
基于Hadoop平台安装Mysql+Hive
weixin_45831715的博客
12-07 1834
在Linux系统（Centos7）中基于Hadoop平台安装Mysql+Hive
Hadoop与Spark以及那些坑
lyx的专栏
12-21 3389
这两天在搭建Hadoop与Spark的平台，要求是能够运行Spark，并且用python编程。笔者也不打算写一个很详细的细节教程，简单做一个笔记blog。 1.选择         笔者一开始是在虚拟机上搭建的，创建了三个ubuntu虚拟机，然后开始布置分布式系统，但是，后来发现，资源完全不够用。笔者台式机16G内存，2T硬盘，i7第四代处理器，然而，还是被hadoop拖死。
电能质量监测装置和防孤岛装置在特斯拉工厂分布式光伏项目的应用
最新发布
acreltzy18702111382的博客
09-14 576
此外，为了确保安全，每台并网柜还将安装一台防孤岛保护装置AM5SE-IS，该装置能够在检测到孤岛效应时迅速动作，切断断路器，从而防止潜在的事故。由于光伏发电的固有不确定性，可能会引起输出功率的随机波动，这进而可能导致电网频率偏差、电压的暂时性升高或降低、短时的电压中断以及电压波动和闪变等电能质量问题。在线电能质量监测装置能实时监测和分析电能质量，具备事件告警、录波、数据统计和评估分析功能，有助于及时解决电能问题，提升光伏发电效率和稳定性，并确保电力系统安全稳定运行。目前，这些装置在现场运行状况良好。
分布式新能源的能量管理
ACRELKY的博客
09-14 1018
在新能源的概念下，可以将其定义为：新能源是指具有一定能量的清洁的可再生能源，它是一种新型的可持续发展的资源和能源。生物质能是借助各类绿色植物的光合作用实现能量转换。地热能主要来源于地球熔岩内部存在的天然热能，海洋能通常涵盖了波浪能、潮汐能等等。成本是对资源消耗展开化运算的计量方法，不但涉及资金费用的消耗，还包括人力资源与物力资源的成本。成本作为产品价格的定价条件，其承担着彰显企业管理水准、经营业绩和竞争实力的关键角色。
如何用静态住宅代理实现分布式代理网络
weixin_51069555的博客
09-13 901
分布式代理网络能够显著提升覆盖范围和稳定性，尤其在需要处理大量请求和确保高可用性的应用场景中。在现代网络架构中，因其稳定性和真实IP地址的优势，成为了分布式代理网络设计的重要组成部分。本文将详细探讨如何设计和实现分布式静态住宅代理网络，以实现最佳的性能和覆盖效果。设计一个高效的分布式静态住宅代理网络，首先需要确定网络的基础架构和组成部分。网络架构通常包括代理服务器节点、负载均衡器、管理和监控系统。每个节点都需要拥有静态IP地址，以确保稳定性和可靠性。
HarmonyOS学习(十二)——数据管理（一）分布式数据
qi85481455的博客
09-14 614
分布式数据服务（Distributed Data Service ，DDS）为应用程序提供不同设备间数据库的分布式协同能力。通过调用分布式数据接口，应用程序将数据保存到分布式数据库中。通过结合账号，用用和数据库三元组，分布式数据服务对属于不同应用的数据进行隔离，以保证不同应用之间数据不能通过分布式数据服务互相访问。在通过可信认证的设备间，分布式数据服务支持应用数据相互同步，为用户提供在多种终端设备上最终一致的数据访问体验。
泽众P-One性能测试平台支持分布式全链路压测
09-14 688
在当今数字化转型加速的时代，高性能、高可用性的系统已成为企业竞争力的核心要素之一。为了确保系统能够在高并发、大数据量的环境下稳定运行，分布式全链路压测成为了不可或缺的一环。P-One凭借其强大的功能，支持分布式全链路压测，为企业的系统验证提供了强有力的支持。 泽众P-One是泽众科技自主研发的B/S架构一站式性能测试平台，集管理、设计、压测、监控与分析于一体，可高效提升性能测试技术能力，降低门槛与成本，确保软件质量。适用于压力、负载、稳定性、可靠性及容量测试等多种非功能测试场景。
【GBase 8c V5_3.0.0 分布式部署(单机安装)】
小怪兽的博客
09-13 837
GBase 8c数据库分布式形态采用share nothing的分布式架构，计算节点和存储节点分离。节点间通过高速网络进行通信，所有节点都有主从互备，确保系统的极致高可用。本文主要包含GBase 8c V5_3.0.0 分布式部署(单机安装)的简单流程，供测试。 GBase 8c分布式数据库实际包含CN、DN、GTM和HA管理组件，各个组件具体介绍如下：CN：协调器，采用完全对等的部署方式。对外提供接口，负责进行SQL解析和优化、生成执行计划，并协调数据节点进行数据查询和写入。在功能上CN上只存储系统的全局
分布式云化数据库的优缺点分析
petaexpress的博客
09-14 347
分布式云化数据库的优点主要体现在高可用性和容错性、可扩展性、体系结构、数据一致性、成本、升级迭代等方面。同时也存在一些缺点，如通信开销较大、数据的存取结构复杂、数据安全性难以保证、系统复杂性、高并发访问性能问题以及节点故障风险等。
Java面试题精选：分布式(一)
YuanLuo0911的博客
09-10 1066
由于CAP中一致性C和可用性A无法兼得，eBay的架构师，提出了BASE理论，它是通过牺牲数据的强一致性，来获得可用性。它由于如下3种特征。lBasicallyAvailable（基本可用）：分布式系统在出现不可预知故障的时候，允许损失部分可用性，保证核心功能的可用。lSoft state（软状态）：软状态也称为弱状态，和硬状态相对，是指允许系统中的数据存在中间状态，并认为该中间状态的存在不会影响系统的整体可用性，即允许系统在不同节点的数据副本之间进行数据同步的过程存在延时。lE。
Java面试题精选：分布式(二)
YuanLuo0911的博客
09-11 1150
如果接入过支付宝或者微信的支付接口，会遇到这样一种流程。例如，APP调用支付宝或微信的SDK（Software Development Kit软件开发工具包）进行了支付，钱已经从用户的支付宝或微信账户，转到了公司（开发APP的公司）的支付宝或微信账户上，但是支付系统，并不知道钱是否已经支付成功，需要支付宝或者微信回调公司的支付系统，才能进行后续的业务，如图所示。这其实就是一个最大努力通知的解决方案。在方案中主要保证两点：（1）有一定的消息重复通知机制。
hadoop3.3.6完全分布式配置
09-10
对于Hadoop 3.3.6的完全分布式配置，你可以按照以下步骤进行操作： 1. 确保你已经安装了Java并设置了正确的环境变量。 2. 下载Hadoop 3.3.6的二进制文件并解压缩到你想要安装的目录。 3. 打开Hadoop配置文件目录，并编辑hadoop-env.sh文件，在其中设置JAVA_HOME变量为Java安装路径。例如： ``` export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` 4. 编辑core-site.xml文件，设置以下属性： ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/path/to/tmp/dir</value> </property> </configuration> ``` 将`fs.defaultFS`设置为你的Hadoop集群的主节点和端口。将`hadoop.tmp.dir`设置为一个临时目录，用于存储Hadoop数据。 5. 编辑hdfs-site.xml文件，设置以下属性： ``` <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/path/to/name/dir</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/path/to/data/dir</value> </property> </configuration> ``` 将`dfs.replication`设置为你想要的副本数（通常为3）。将`dfs.namenode.name.dir`设置为主节点上用于存储元数据的目录，将`dfs.datanode.data.dir`设置为数据节点上用于存储块数据的目录。 6. 编辑mapred-site.xml文件，设置以下属性： ``` <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` 将`mapreduce.framework.name`设置为yarn，以使用YARN作为Hadoop的资源管理器。 7. 编辑yarn-site.xml文件，设置以下属性： ``` <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> </configuration> ``` 将`yarn.nodemanager.aux-services`设置为mapreduce_shuffle，将`yarn.nodemanager.aux-services.mapreduce.shuffle.class`设置为org.apache.hadoop.mapred.ShuffleHandler，将`yarn.resourcemanager.hostname`设置为你的主节点的主机名或IP地址。 8. 配置完毕后，启动Hadoop集群的各个组件，包括NameNode、DataNode、ResourceManager和NodeManager。可以使用以下命令启动： ``` $ start-dfs.sh $ start-yarn.sh ``` 确保没有启动过程中出现任何错误或异常。 9. 最后，可以使用Hadoop命令行工具或Hadoop API在集群上执行任务。 这些是基本的完全分布式配置步骤，根据你的需求和环境可能还需要进行其他配置调整。希望能对你有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值