Hadoop集群搭建步骤

最新推荐文章于 2024-06-20 16:12:27 发布
最新推荐文章于 2024-06-20 16:12:27 发布
阅读量1.4k 收藏 6
点赞数 1
文章标签： 大数据 hadoop linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cxw1994/article/details/119851431
版权

先前准备工作

安装好jdk1.8版本并加入环境变量，配置好免密，处理好ip和节点名称的映射（所有节点都需要）

一、系统配置

Node1：ResourceManager和Namenode配置节点，并且也是DataNode
Node2：DataNode和SecondaryNamenode
Node3：DataNode

二、基础概念

hadoop主要包含了3个组件：存储组件hdfs、资源调度引擎yarn、计算引擎MapReduce
1、hdfs集群
NameNode: 资源存储目录，负责维护整个HDFS文件系统的目录树以及每一个路径(文件)对应的block块信息
DataNode: 资源实际存储位置

2、yarn集群
ResourceManage: 负责资源的分配与调度
NodeManager: 负责接收 ResourceManager的资源分配请求，分配具体的资源给应用

三、hadoop集群搭建

1.在Node1上下载Hadoop3.2.1安装包并解压到指定目录

tar zxvf hadoop-3.2.1.tar.gz -C /opt/software

2.添加hadoop环境变量

vim /etc/profile.d/myenv.sh

配置如下

export HADOOP_HOME=/opt/software/hadoop321
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

激活使其生效

source /etc/profile

3、修改配置文件
（1）core-site.xml

<configuration>
	<!--配置node1为namenode的地址-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node1:9820</value>
	</property>
	<!--配置数据存储目录-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/software/hadoop321/data</value>
	</property>
	<!--配置HDFS网页登录使用的静态用户-->
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>root</value>
	</property>
	<!--配置root（超级用户）允许通过代理访问的主机节点-->
	<property>
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	<!--配置root（超级用户）允许通过代理用户所属组-->
	<property>
		<name>hadoop.proxyuser.root.groups</name>
		<value>*</value>
	</property>
	<!--配置root（超级用户）允许通过代理的用户-->
	<property>
		<name>hadoop.proxyuser.root.user</name>
		<value>*</value>
	</property>
</configuration>

（2）hdfs-site.xml

<configuration>
	<!--配置node1的namenode web访问地址-->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>node1:9870</value>
	</property>
	<!--配置node2为secondary namenode web访问地址-->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>node2:9868</value>
	</property>
	<!--配置hdfs副本数量-->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
</configuration>

（3）yarn-site.xml

<configuration>
	<!--配置mr的执行方式-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--配置node1为ResouManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node1</value>
    </property>
    <!--配置环境变量的继承-->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <!--配置yarn的容器允许分配的最小内存-->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <!--配置yarn的容器允许分配的最大内存-->
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    <!--配置yarn容器允许管理的物理内存大小-->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <!--是否启动一个线程检查每个任务正使用的物理内存量-->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <!--是否启动一个线程检查每个任务正使用的虚拟内存量-->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
	<!--是否开启日志聚合-->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!--自动跳转到的聚合日志的网页地址-->
    <property>  
        <name>yarn.log.server.url</name>  
        <value>http://${yarn.timeline-service.webapp.address}/applicationhistory/logs</value>
    </property>
    <!--聚合日志保存时间-->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    <!--通用方式存储和检索应用程序的当前和历史信息-->
    <property>
        <name>yarn.timeline-service.enabled</name>
        <value>true</value>
    </property>
    <!--通用方式存储和检索应用程序的当前和历史信息的网页地址-->
    <property>
        <name>yarn.timeline-service.hostname</name>
        <value>${yarn.resourcemanager.hostname}</value>
    </property>
    <!--存储和检索应用程序的当前和历史信息是否跨平台-->
    <property>
        <name>yarn.timeline-service.http-cross-origin.enabled</name>
        <value>true</value>
    </property>
    <!--发送测量数据-->
    <property>
        <name>yarn.resourcemanager.system-metrics-publisher.enabled</name>
        <value>true</value>
    </property>
</configuration>

（4）mapred-site.xml

<configuration>
	<!--配置mapreduce运行与yarn上：默认为local，也可以指定spark阶段了解的mesos-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<!--配置历史服务器地址-->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node1:10020</value>
	</property>
	
	<!--配置历史服务器web段地址-->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node1:19888</value>
	</property>
</configuration>

（5）workers文件

在这里插入图片描述
（6）配置hadoop-env.sh

vim mapred-env.sh
-------------------------------------------
export JAVA_HOME=/opt/software/jdk180
-------------------------------------------

（7）配置mapred-env.sh

vim mapred-env.sh
-------------------------------------------
export JAVA_HOME=/opt/software/jdk180
-------------------------------------------

（8）配置yarn-env.sh

vim yarn-env.sh
-------------------------------------------
export JAVA_HOME=/opt/software/jdk180
-------------------------------------------

（9）添加变量

vim opt/software/hadoop321/sbin/start-dfs.sh
vim opt/software/hadoop321/sbin/stop-dfs.sh
------------------------------------------------
HDFS_NAMENODE_USER=root 
HDFS_DATANODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root 
YARN_RESOURCEMANAGER_USER=root 
YARN_NODEMANAGER_USER=root
------------------------------------------------



vim opt/software/hadoop321/sbin/start-yarn.sh
vim opt/software/hadoop321/sbin/stop-yarn.sh
------------------------------------------------
YARN_RESOURCEMANAGER_USER=root 
HADOOP_SECURE_DN_USER=yarn 
YARN_NODEMANAGER_USER=root
------------------------------------------------

（10）设置服务器时间同步
【node1】

yum -y install ntp
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
cp /etc/ntp.conf /etc/ntp.conf.bak
cp /etc/sysconfig/ntpd /etc/sysconfig/ntpd.bak
echo "restrict node1 mask 255.255.0.0 nomodify notrap" >> /etc/ntp.conf
echo "SYNC_HWCLOCK=yes" >> /etc/sysconfig/ntpd
systemctl restart ntpd

【node2、node3】

yum -y install ntpdate crontabs
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
ntpdate node1  #稍等几分钟，同步node1的时间会有3~5分钟延迟
echo "*/30 * * * * /usr/sbin/ntpdate hadoop1.bigdata" >> /var/spool/cron/root

（11）将配置好的hadoop文件整个发送到node2、node3节点

scp -r /opt/software/hadoop321/ root@node2:/opt/software/
scp -r /opt/software/hadoop321/ root@node3:/opt/software/

（12）HDFS格式化

hdfs namenode -format

（13）node1节点启动Hadoop服务

cd /opt/software/sbin
./start-dfs.sh
./start-yarn.sh

（14）9870web端和jps查看
9870端口
node1进程在这里插入图片描述

node2进程
在这里插入图片描述
node3进程
在这里插入图片描述
（15）hadoop自带的workcount测试集群
在hdfs根目录建一个output/test.txt文件，里面放了11个hello word

cd /opt/software/hadoop321/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-3.2.1.jar wordcount /input/test.txt /output/

最终结果
在这里插入图片描述

Cxw1994
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop分布式集群部署(单namenode节点)
weixin_34186931的博客
11-29 319
Hadoop分布式集群部署 系统系统环境： OS: CentOS 6.8 内存：2G CPU：1核 Software：jdk-8u151-linux-x64.rpm 　　　　　 hadoop-2.7.4.tar.gz hadoop下载地址： sudo wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.4/hado...
解决集群部署Hadoop 启动后没有ResourceManager问题
热门推荐
qq_37354060的博客
03-18 1万+
解决集群部署Hadoop 启动后没有ResourceManager问题，java.lang.reflect.InaccessibleObjectException异常
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
最新发布
2401_84166258的博客
06-20 1115
同时修改hadoop02和hadoop03。
hadoop_NameNode、ResourceManager高可用原理
dongkang123456的博客
03-27 591
因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop 生态系统中依赖于 HDFS 的各个组件，包括 MapReduce、Hive、Pig 以及 HBase 等也都无法正常工作，并且重新启动 NameNode 和进行数据恢复的过程也会比较耗时。当 active NameNode 执行了修改命名空间的操作时，它会定期的将执行的操作记录在editLog中，standby 会一直监听 JNS上的editlog的变化。
在启动hadoop高可用集群的时候ResourceManager服务进程未启动
bobobo02的博客
09-25 2177
缺少ResourceManager服务进程，最可能的原因是yarn-site.xml文件编写错误
HDFS的namenode和datanode
Murphyt的专栏
11-29 1181
一、概述 HDFS集群以Master-Slave模式运行，主要有两类节点：一个Namenode(即Master)和多个Datanode(即Slave)。 HDFS Architecture： 二、Namenode Namenode 管理者文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的
hadoop集群搭建步骤
01-10
该文档提供了linux环境中搭建hadoop集群（大数据）的步骤，个人认为比较详细，供大家学习
Hadoop集群搭建详细步骤
01-30
【Hadoop集群搭建详细步骤】 Hadoop是一种开源的分布式计算框架，主要用于大数据处理。搭建Hadoop集群涉及到多个步骤，包括虚拟机环境准备、克隆、网络配置、软件安装、集群配置、SSH免密登录以及集群的启动和测试...
hadoop集群搭建教程
03-07
#### 三、Hadoop集群搭建步骤 **3.1 集群简介** - **HDFS集群**: 负责数据存储，关键角色包括NameNode和DataNode。 - **YARN集群**: 负责资源调度，关键角色包括ResourceManager和NodeManager。 **3.2 服务器准备...
Hadoop系列一之入门介绍
weixin_43497829的博客
02-22 426
1.Hadoop框架生态 1.1 Hadoop是什么 （1）hadoop是一个由Apache基金会所开发的分布式系统基础架构 （2）主要解决，海量数据的存储和海量数据的分析计算 （3）hadoop广义上是指hadoop生态圈 1.2 Hadoop发展历史 （1）Lucene框架是Doug Cutting 开创的开源软件，用java书写，实现类和Google类似的全文搜索功能。 （2）2001年底，Lucene成为了Apache基金会的一个子项目 （3）面对海量数据场景，Lucene和Google都有相同的困
Hadoop的各个启动进程介绍
weixin_39435629的博客
10-09 5691
守护进程：NameNode，DataNode，ResourceManager，NodeManager，JournalNode，DFSZKFailoverController等 备注：本文截图出自数据《Hadoop权威指南_第四版_中文版.pdf》和官网（地址：https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs...
详解Hadoop六个配置文件的作用
qq_31151125的博客
09-30 1万+
详解Hadoop六个配置文件的作用主要常用的文件夹六个配置文件的作用 etc/hadoopcore-site.xmlhdfs-site.xml额外知识点hadoop-env.shmapred-site.xmlyarn-site.xml 本文以apache的hadoop-2.7.5为列，主要讲解Hadoop目录下每个文件的作用 主要常用的文件夹 文件夹名称 作用 bin shell...
hadoop核心配置文件
二十一克阳光！的博客
05-06 1401
集群部署规划 配置 core-site.xml cd $HADOOP_HOME/etc/hadoop vim core-site.xml 添加内容 <configuration> <!-- 指定 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop102:8020</value> </property>
hadoop启动缺少NameNode， 缺少ResourceManager, 缺少NodeManager...
世幻水的博客
10-02 1万+
描述：在hadoop 运行start-all.sh，发现缺少了NameNode， 缺少ResourceManager, 缺少NodeManager…等等的服务。这类问题有统一的解决方案。即查阅hadoop日志。 目录 1.hadoop日志 2.1 没有NameNode(选读) 2.2 没有ResourceManager和NodeManager(选读) 2.3 没有ResourceManage(选读) 3. 总结 1.hadoop日志 hadoop日志位于 hadoop 安装目录下的logs里，包含
hadoop--集群配置/群起集群
FunnyPrince_的博客
06-13 673
集群配置 1.集群部署规划： tips： NameNode和SecondaryNameNode不要安装在同一台服务器； ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上； 2.配置文件说明： Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。 1). 默认配置文件： 2). 自定义配置文件： core-site.xml、hdfs-site.xml、
Hadoop集群配置_真分布式
让，
05-02 157
1.集群部署规划 注：所有的没有进行自定义的配置，其实都是使用的默认配置，只是这 default-site.xml 对我们相对透明 master：hadoop102 slave1 : hadoop103 slave2 : hadoop104 最佳集群部署规划： namenode, resourcemanager, secondarynamenode 都是资源的管理者，要占用 节点的内存， 如果把这些 管理者 都部署到 主节点master上，势必会造成内存资源的分配问题，最好的办法就是将其.
Namenode节点的部署及杂碎的命令：
wyqwilliam的博客
07-06 897
Namenode节点的部署： 部署zookeeper之后的细节： 分别部署hdfs-site.xml和core-site.xml文件 然后将node1中配置好的部署好的文档分别分发给其他的node节点,命令为： Scp hdfs-site.xml  core-site.xml   192.168.198.22:`pwd` 启动node1上边的namenode,命令为： Hadoop-d...
hadoop集群搭建-Namenode HA和ResourceManager HA
数据世界的专栏
05-10 4426
一、说明 1. 本文档以四台机器为例搭建hadoop集群，各台机器的职责如下： 此集群主要包括Namenode HA和RresourceManager HA，这是本文重点所在。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值