Hadoop学习(1)_集群部署

最新推荐文章于 2024-05-10 11:37:30 发布
最新推荐文章于 2024-05-10 11:37:30 发布
阅读量341 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop 学习 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38208216/article/details/130804674
版权

 1、部署准备

Hadoop生态可以分成以下几部分：

  • Hadoop Common: The common utilities that support the other Hadoop modules.
  • Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.
  • Hadoop YARN: A framework for job scheduling and cluster resource management.
  • Hadoop MapReduce: A YARN-based system for parallel processing of large data sets.

Hadoop集群主要由分布式文件系统（HDFS）和分布式资源管理系统（YARN）构成。

HDFS集群中的角色：NameNode、Secondary NameNode、DataNode。

YARN集群中的角色：ResourceManager、NodeManager、MapReduce Job History、Web App Proxy Server。

软件环境

每个主机使用版本一致的软件环境。

操作系统：Linux System；Ubuntu 22.04.2 LTS

软件环境：pdsh-2.31 (+debug)、OpenSSH_8.9p1、Java version "1.8.0_371"、Hadoop 3.3.5

用户环境：本案例没有使用单独的账户，默认使用root账户配置和运行。

主机规划

主机名

IP

系统版本

Java版本

Java安装路径

Hadoop版本

角色

Hadoop01

2.2.2.11

Ubuntu22.04.2

1.8.0_371

/usr/lib/jvm/jdk1.8.0_371

3.3.5

NameNode、ResourceManager

Hadoop02

2.2.2.12

Ubuntu22.04.2

1.8.0_371

/usr/lib/jvm/jdk1.8.0_371

3.3.5

DataNode、NodeManager

Hadoop03

2.2.2.13

Ubuntu22.04.2

1.8.0_371

/usr/lib/jvm/jdk1.8.0_371

3.3.5 

DataNode、NodeManager

2、配置要点

网络环境

1、配置/etc/hosts;加入IP和主机名解析关系，注释localhost和ipv6相关条目。

2、防火墙放通相应通信端口或关闭防火墙。

Java环境配置

Java1.8下载地址：Java Downloads | Oracle

Linux安装Java1.8参考：Install Oracle Java Development Kit 8 on Linux - Java Helps

配置完成后，输出验证：

root@hadoop01:# java -version
java version "1.8.0_371"
Java(TM) SE Runtime Environment (build 1.8.0_371-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.371-b11, mixed mode)

SSH环境配置

安装pdsh，用于批量启动和管理节点。

sudo apt install pdsh

配置SSH公钥登录（在管理主机上配置无需密码访问其他节点主机，便于从一台机器通过pdsh管理其他机器）

生成公私密钥对：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

root@hadoop01:~/.ssh# cat id_rsa.pub 
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQCuHaxKGsLMZDulTZBmZBJ6Vf/4Br/8gX88lcEE+GFH/oTaOhg9stdFwdkgQ/SdlEOKfsDoYfESrgIgPrRYoJlbp5MzSDgAqYdGaRATK/XYqDI07UqLIUrjcPns4m+GNORfKbQD+TTp2k52Al1y+hmgypJWCWR8UQLCydzVJkhBAT8BGO4jjZWoqypPNsLrz00Gi+kO1vcrOCuKlFy61e6o84lMCqtngcfN0FcTF8cV5VJgS0D2YTx9qgV758P0deBKtlE3p9Fc/pDO6tfrphWIiIpkanR1IRKem50rK0sK/ynIIma9VBO6efyp7tgfoFlfmiRkQMAEpq3Tp/PaovIOXuUnJ7dG0VfKJVhrhkvPulYp7//hLXASj44m6Zui8Y40L9t1fCvpH9t1xc7EiBgHZibUIjfOatWHyibBNAXrSVz+y9R5/CpTc59Jpi3PlDtdjx8OEPu0V8ma4f51HbwBFlOndPgKCJFUqXRmQ2MyjkC2MfZC+8cPPlymuvTuHUU= root@hadoop01

将以上公钥内容添加到本机及其他主机/root/.ssh/authorized_keys文件下。尝试连接，若无需输入验证信息即配置成功。

在$hadoop_home/etc/hadoop/workers下，添加主机IP

root@hadoop01:/hadoop-3.3.5/etc/hadoop# cat workers 
2.2.2.11
2.2.2.12
2.2.2.13

Hadoop环境配置

下载Hadoop软件包：Index of /hadoop/common

解压缩到某个路径并确保目录权限足够。

根据之前分配的主机角色，编写配置文件并把配置文件加入对应主机。  

以下是本案例使用的配置文件，仅供参考，更多参数配置请参考官网说明。

Core-site.xml         (for all hosts)

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://2.2.2.11:9000</value>
	</property>
	<property>
		<name>io.file.buffer.size</name>
		<valu1>131072</valu1>
    </property>
</configuration>

NameNode-hdfs-site.xml        (for namenode hosts)

<configuration>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/usr/namenode/dfs</value>
	</property>
	<property>
		<name>dfs.hosts</name>
		<value>/usr/namenode/knowhosts</value>
	</property>
	<property>
		<name>dfs.blocksize</name>
		<value>268435456</value>
	</property>
	<property>
		<name>dfs.namenode.handler.count</name>
		<value>100</value>
	</property>
</configuration>

DataNode-hdfs-site.xml        (for  datanode hosts)

<configuration>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/usr/datanode/dfs</value>
	</property>
</configuration>

以上是部署HDFS需要使用到的配置文件。

以下是部署YARN需要使用到的配置文件。

ResourceManager-yarn-site.xml        (for ResourceManager hosts)

<configuration>
	<property>
		<name>yarn.acl.enable</name>
		<value>flase</value>
	</property>
	<property>
		<name>yarn.admin.acl</name>
		<value>*</value>
	</property>
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>flase</value>
	</property>
	<property>
		<name>yarn.resourcemanager.address</name>
		<value>hadoop01:8032</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address</name>
		<value>hadoop01:8030</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address	</name>
		<value>hadoop01:8031</value>
    </property>
	<property>
		<name>yarn.resourcemanager.admin.address</name>	
		<value>hadoop01:8033</value>
    </property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>hadoop01:8088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop01</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.class</name>
		<value>CapacityScheduler</value>
	</property>
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>1024</value>
	</property>
	<property>
		<name>yarn.scheduler.maximum-allocation-mb</name>
		<value>4096</value>
	</property>
</configuration>

NodeManager-yarn-site.xml        (for NodeManager hosts) 

<configuration>
	<property>
		<name>yarn.acl.enable</name>
		<value>flase</value>
	</property>
	<property>
		<name>yarn.admin.acl</name>
		<value>*</value>
	</property>
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>flase</value>
	</property>
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>-1</value>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop01</value>
	</property>
	<property>
		<name>yarn.nodemanager.resource.detect-hardware-capabilities</name>
		<vlaue>true</vlaue>
	</property>
	<property>
		<name>yarn.nodemanager.local-dirs</name>
		<value>/usr/hadoop/nodemanagerdir</value>
	</property>
	<property>
		<name>yarn.nodemanager.log-dirs</name>	
		<value>/usr/hadoop/nodemanagerlog</value>
	</property>	
	<property>
		<name>yarn.nodemanager.log.retain-seconds</name>
		<value>10800</value>
	</property>
	<property>
		<name>yarn.nodemanager.remote-app-log-dir</name>
		<value>/usr/hadoop/nodemanagerlog</value>
	</property>
	<property>
		<name>yarn.nodemanager.remote-app-log-dir-suffix</name>
		<value>logs</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
	</property>
</configuration>

 MapApp-mapred-site.xml         (for MapReduce Applications hosts or MapReduce JobHistory Server)

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<vlaue>yarn</vlaue>
	</property>
	<property>
		<name>mapreduce.map.memory.mb</name>
		<vlaue>1536</vlaue>
	</property>	
	<property>
		<name>mapreduce.map.java.opts</name>
		<vlaue>-Xmx1024M</vlaue>
	</property>
	<property>
		<name>mapreduce.reduce.memory.mb</name>
		<vlaue>3072</vlaue>
	</property>
	<property>
		<name>mapreduce.reduce.java.opts</name>
		<vlaue>-Xmx2560M</vlaue>
	</property>
	<property>
		<name>mapreduce.task.io.sort.mb</name>
		<vlaue>512</vlaue>
	</property>
	<property>
		<name>mapreduce.task.io.sort.factor</name>
		<vlaue>100</vlaue>
	</property>
	<property>
		<name>mapreduce.reduce.shuffle.parallelcopies	</name>
		<vlaue>50</vlaue>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<vlaue>hadoop01:10020</vlaue>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<vlaue>hadoop01:19888</vlaue>
	</property>
	<property>
		<name>mapreduce.jobhistory.intermediate-done-dir</name>
		<vlaue>/mr-history/tmp</vlaue>
	</property>
	<property>
		<name>mapreduce.jobhistory.done-dir</name>
		<vlaue>/mr-history/done</vlaue>
	</property>
</configuration>

运行集群 

可以单独启动，或使用脚本自动启动。

初始化NameNode主机

$HADOOP_HOME/bin/hdfs namenode -format

脚本启动HDFS集群：

$HADOOP_HOME/sbin/start-dfs.sh

脚本启动YARN集群：

$HADOOP_HOME/sbin/start-yarn.sh

验证结果

默认服务端口

查看HDFS集群状态

 

查看YARN集群状态

问题记录

问题1：ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes

ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes_liang墨竹的博客-CSDN博客

问题2：Hadoop的start-dfs.sh的pdsh@connect: Connection refused

Hadoop的start-dfs.sh的pdsh@connect: Connection refused错误的解决方法_51CTO博客_hadoop的dfs启动未找到命令

问题3：sbin/start-yarn.sh报错

修改增加：

YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root

问题4：启动nodemanager报错

查看日志，有提示是配置文件错误。修改正确即可。

问题5：启动yarn后，nodemanager节点连接不到resourcemanager服务器。

需要在nodemanager节点yarn-site.xml指定resourcemanager服务器地址

 

 

 

 

karenin666
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop学习笔记（二）设置单节点集群
无知人生，记录点滴
10-07 2万+
本文描述如何设置一个单一节点的 Hadoop 安装，以便您可以快速执行简单的操作，使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS)。
史上最简单详细的Hadoop完全分布式集群搭建
热门推荐
Mage的博客
10-31 5万+
一.安装虚拟机环境 Vmware12中文官方版 链接：https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取码：6rep 激活秘钥：MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A 这个安装就十分的简单了，只需要不断点击下一步，直到安装完成就OK了； 二.虚拟机的安装（Centos7） 这个步骤我分享一个详细安装地址：https://www...
hadoop集群部署
Cat God 007的博客
04-19 6763
hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构, 是一个存储系统+计算框架的软件框架，主要解决海量数据存储与计算的问题，是大数据技术中的基石。 Hadoop以一种可靠、高效、可伸缩的方式进行数据处理，用户可以在不了解分布式底层细节的情况下，开发分布式程序，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 hadoo
Hadoop集群安装部署
qq_48391148的博客
03-28 2774
hadoop集群的搭建
Hadoop集群部署
最新发布
景巧巧的博客
05-10 877
p今天我们基于开源软件搭建满足企业需求的Hadoop生态系统,构建基础的大数据分析平台准备3台机器搭建Hadoop完全分布式集群，其中1台机器作为Master节点，另外两台机器作为Slave节点，主机名分别为Slave1和Slave2。
大数据--Hadoop环境部署(4)Hadoop集群部署
qq_51641196的博客
12-03 2116
Hadoop集群的部署方式分为三种，分别是独立模式(Standalone mode)、伪分布式模式(Pseudo-Distributed mode)和完全分布式模式(Cluster mode)，独立模式和伪分布式模式主要用于学习和调试，完全分布式通常在实际生产环境使用。 为了提高Hadoop集群的高可用性，通常使用ZooKeeper为Hadoop集群提供自动故障转移和数据一致性服务一.Hadoo...
Hadoop的集群部署
m0_72168501的博客
10-23 777
Hadoop的部署
Hadoop集群部署研究.docx
01-04
一个课程作业 Hadoop作为处理大数据的一个优秀分布式计算框架，在企业应用非常普通。而学习计算机这类实践性很强的学科,部署平台是学习的基本要求。纸上谈兵终觉浅,只有...因此我对Hadoop集群快速部署做了如下研究。
hadoop2.4.1集群部署详细步骤
11-14
超详细的hadoop部署详解，适合入门学习使用，大神勿扰
使用docker部署hadoop集群的详细教程
09-29
主要介绍了使用docker部署hadoop集群的详细教程,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值需要的朋友可以参考下
Hadoop集群部署、实战等相关培训资料
02-02
EasyHadoop集群部署文档\Hadoop常用命令\hadoop大数据架构生态技术简介\Hadoop权威指南\Hadoop实战
Hadoop集群部署实例
02-06
由于工作需要，最近一段时间开始接触学习 Hadoop 相关的东西，目前公司的实时任务和离线任务都跑在一个 Hadoop 集群，离线 任务的特点就是每天定时跑，任务跑完了资源就空闲了，为了合理的利用资源，我们打算在搭一...
Hadoop大数据_安装jdk、hadoop
lhy857的博客
04-10 2329
安装jdk 一、开启网络,ifconfig指令查看ip 二、修改主机名 hostnamectl set-hostname hadoop 三、查看防火墙状态并打开防火墙 1.firewall-cmd --state查看防火墙状态 2.systemctl start iptables.service打开防火墙 3.reboot 重启Linux 四、删除已有的jdk 查看java安装版本：java -version 查看java安装包：rpm -qa|grep java 删除java安装包：
Hadoop集群部署-完全分布式
礁之的博客
08-11 727
Hadoop是一个用于处理大规模数据集的分布式计算框架，它的设计目标是能够在低成本硬件上进行可靠和高性能的数据存储和处理，从而使企业能够从大数据中获得价值。ZooKeeper是一个开源的分布式协调服务，用于管理和协调大规模分布式系统中的配置、状态、命名等信息。
hadoop集群部署步骤（完全分布式）
weixin_45429161的博客
03-16 912
hadoop安装部署 1：安装进dk（3台都装） 先root mkdir /usr/java //创建java，用于存放java tar -zxvf jdk //解压jdk mv jdk /usr/java //移动解压文件 vim /etc/profile //配置环境变量 export JAVA_HOME=/usr/local/src/jdk1.8.0_...
Hadoop完全分布式部署(超全)
qq_27960935的博客
10-21 3391
Hadoop完全分布式部署 1、配置vm共享文件夹 注意：主要是实现window与虚拟机之间的文件共享，如果用实体机的，就不需要这步 1.1 linux系统创建共享目录 mkdir -p /work/software/share 1.2 vm配置共享文件夹 2、配置vm网络 vm安装步骤看这 三台服务器ip为： hdp01 192.168.10.133 hdp02 192.168.10.134 hdp03 192.168.10.135 3、配置虚拟机 注意：以下内容三台服务器同样配置（以第一台服务
Hadoop集群环境配置及安装配置（详细过程包含安装包）
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
超详细手把手教你部署全分布模式Hadoop集群
weixin_46567883的博客
04-23 2262
由于之前步骤已将 core-site.xml 中 Hadoop 的临时目录设置为“/usr/local/hadoop-2.9.2/hdfsdata”，故本书中未修改配置项“yarn.nodemanager.local-dirs”，中间结果的存放位置为“/usr/local/hadoop-2.9.2/hdfsdata/nm-local-dir”，这个目录会随着 YARN 守护进程的启动而在由系统自动在所有从节点上创建，无需用户手工创建。也可以使用命令“file /bin/ls”来显示 Linux 版本号。
实验1Hadoop集群部署实验报告
05-24
至此，Hadoop集群部署实验完成。 三、实验总结 通过本次实验，我学习了Hadoop分布式计算框架的部署和使用方法，了解了Hadoop集群的配置和启动方式，并成功运行了Hadoop自带的wordcount例子，加深了对Hadoop的理解...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值