搭建hadoop集群（hdfs和yarn）

已于 2024-06-08 22:33:54 修改
阅读量349 收藏 5
点赞数 8
分类专栏： 大数据 文章标签： hadoop 大数据 分布式
于 2024-04-07 01:43:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40283268/article/details/137436616
版权

准备三台虚拟机。
本文中ip分别设置为192.168.137.101、192.168.137.102、192.168.137.103.
步骤1-4使用root用户，步骤5及以后使用hadoop用户。
1、配置主机名和域名，开通防火墙端口

#修改主机名
hostnamectl set-hostname hadoop01  #第一台
hostnamectl set-hostname hadoop02  #第二台
hostnamectl set-hostname hadoop03  #第三台
#重启虚拟机
init 6

#配置域名（三台均配置，配置内容相同）
vim /etc/hosts
192.168.137.101 hadoop01
192.168.137.102 hadoop02
192.168.137.103 hadoop03

#开通hadoop01的端口——只操作hadoop01即可
firewall-cmd --zone=public --add-port=9870/tcp --permanent
firewall-cmd --zone=public --add-port=8020/tcp --permanent
firewall-cmd --zone=public --add-port=9864/tcp --permanent  #另外两台机器也可以开下9864端口
firewall-cmd --zone=public --add-port=8088/tcp --permanent
firewall-cmd --zone=public --add-port=8031/tcp --permanent
firewall-cmd --zone=public --add-port=8042/tcp --permanent  #另外两台机器也可以开下8042端口
firewall-cmd --reload

2、创建用户和用户组（3台均配置）

#创建hadoop用户组
groupadd hadoop
#创建hadoop用户，并归属于hadoop用户组
useradd -m -g hadoop hadoop
#设置hadoop用户密码
passwd hadoop

3、创建环境搭建目录，并设置权限给hadoop用户（3台均配置）

mkdir /data
chown -R hadoop:hadoop /data
#后续所有操作均使用hadoop用户
su - hadoop

4、时钟同步（3台均配置）

yum -y install ntp
systemctl enable ntpd
systemctl start ntpd
timedatectl set-timezone Asia/Shanghai
ntpdate -u time.nist.gov
date

5、ssh免密登录（3台均配置）

cd /home/hadoop/.ssh
ssh-keygen -t rsa -C "邮箱"
#输入3次回车
#拷贝当前机器ssh公钥信息至另外两台虚拟机
ssh-copy-id hadoop01 #hadoop01需要拷贝至自己机器，不然hdfs-start.sh报错
ssh-copy-id hadoop02
ssh-copy-id hadoop03

6、安装jdk（3台均配置）

cd /data
#上传jdk-8u341-linux-x64.tar.gz
tar -zxvf jdk-8u341-linux-x64.tar.gz
vim ~/.bash_profile
#在文件结尾追加以下内容
export JAVA_HOME=/data/jdk1.8.0_341
export PATH=$JAVA_HOME/bin:$PATH
#:wq 保存退出
source ~/.bash_profile
java -version

在这里插入图片描述
7、上传hadoop安装包并解压（3台均配置）

cd /data
#上传hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz

8、配置文件修改（3台均配置）
（1）hadoop配置文件

cd /data/hadoop-3.3.6/etc/hadoop
vim workers
#输入以下内容
hadoop01
hadoop02
hadoop03

vim hadoop-env.sh
#编辑以下内容
export JAVA_HOME=/data/jdk1.8.0_341
export HADOOP_HOME=/data/hadoop-3.3.6
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_LOG_DIR=${HADOOP_HOME}/logs

vim core-site.xml
#添加以下内容
#hadoop01节点为NameNode节点，DataNode与NameNode的8020端口通讯
#io操作文件缓冲区大小为131072bit
<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://hadoop01:8020</value>
   </property>
   <property>
       <name>io.file.buffer.size</name>
       <value>131072</value>
   </property>
</configuration>

（2）hdfs配置文件

vim hdfs-site.xml
#添加以下内容
#dfs.datanode.data.dir.perm——hdfs文件系统默认创建文件权限设置
#dfs.namenode.name.dir——NameNode元数据的存储位置
#dfs.namenode.hosts——NameNode运行哪些节点的DataNode连接
#dfs.blocksize——hdfs默认大小256MB
#dfs.namenode.handler.count——namenode处理的开发线程数
#dfs.datanode.data.dir——从节点datanode的数据存储目录
<configuration>
    <property>
	      <name>dfs.datanode.data.dir.perm</name>
	      <value>700</value>
    </property>
    <property>
          <name>dfs.namenode.name.dir</name>
          <value>/data/nn</value>
    </property>
    <property>
          <name>dfs.namenode.hosts</name>
          <value>hadoop01,hadoop02,hadoop03</value>
    </property>
    <property>
          <name>dfs.blocksize</name>
          <value>268435456</value>
    </property>
    <property>
          <name>dfs.namenode.handler.count</name>
          <value>100</value>
    </property>
    <property>
          <name>dfs.datanode.data.dir</name>
          <value>/data/dn</value>
    </property>
</configuration>

（3）yarn配置文件
vim yarn-site.xml

<configuration>  
  <property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop01:19888/jobhistory/logs</value>
    <description>历史服务器路径</description>
  </property>
  
  <property>
    <name>yarn.web-proxy.address</name>
    <value>hadoop01:8089</value>
    <description>代理服务器主机和端口</description>
  </property>
  
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>开始日志聚合</description>
  </property>
  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/tmp/logs</value>
    <description>程序日志HDFS的存储路径</description>
  </property>
  
  <!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
    <description>ResoucesManager的所在节点</description>
  </property>
  
  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    <description>选择公平调度器</description>
  </property>
  
  <!-- 是否将对容器实施物理内存限制 -->
  <property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
  </property>
   
  <!-- 是否将对容器实施虚拟内存限制 -->
  <property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
  </property>
  
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/nm-local</value>
    <description>NodeManager中间数据本地存储路径</description>
  </property>
  
  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/nm-log</value>
    <description>NodeManager数据日志本地存储路径</description>
  </property>
  
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>为Mapreduce程序开启Shuffle服务</description>
  </property>
  
  <!-- 设置yarn历史日志保存时间 7天 -->
  <property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>302400</value>
    <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
  </property>
</configuration>

vim mapred-site.xml

<configuration>
  <!-- 设置MR程序默认运行模式，yarn集群模式，local本地模式 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
   
  <!-- MR程序历史服务地址 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop01:10020</value>
  </property>
   
  <!-- MR程序历史服务web端地址 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop01:19888</value>
  </property>
   
  <!-- yarn环境变量 -->
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
   
  <!-- map环境变量 -->
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
   
  <!-- reduce环境变量 -->
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
</configuration>

9、配置环境变量（3台均配置）

vim ~/.bash_profile
export HADOOP_HOME=/data/hadoop-3.3.6
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH

source ~/.bash_profile

在这里插入图片描述
10、创建hdfs存储文件路径

#创建NameNode文件目录（只需在hadoop01上创建）
mkdir -p /data/nn
#创建DataNode文件目录（3台均需创建）
mkdir -p /data/dn

11、初始并启动hdfs和yarn集群（只需在hadoop01上操作）
（1）初始化

#格式化NameNode
hadoop namenode -format

在这里插入图片描述
（2）启动集群

#启动hdfs集群
start-dfs.sh
#启动yarn集群
start-yarn.sh

在这里插入图片描述
（3）验证

#验证
#hadoop01有NameNode\SecondaryNameNode\DataNode\ResourceManager\NodeManager\WebAppProxyServer进程
#hadoop02和hadoop03有DataNode\NodeManager进程
jps

在这里插入图片描述

访问 http://192.168.137.101:9870/dfshealth.html#tab-datanode
在这里插入图片描述

访问 http://192.168.137.101:8088/cluster/nodes
在这里插入图片描述

在这里插入图片描述
12、关闭hdfs集群和yarn集群

#一键关闭hdfs集群
stop-dfs.sh
#一键关闭yarn集群
stop-yarn.sh
兔八哥汪汪汪
关注
  • 8
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hdfs集群执行流程，进程分析
qq_34803501的博客
05-04 294
hdfs集群执行流程，进程分析hdfs集群结构副本分片策略rebalance重新平衡策略secondaryNamenode hdfs集群结构 hdfs（Hadoop Distributed File System）是为Hadoop生态环境设计的分布式文件存储系统，由于基于jvm的架构上，所以理论上可以运行在任何支持java的机器上。 hdfs文件系统，核心由namenode和datanode组成，...
详解搭建ubuntu版hadoop集群
09-15
Ubuntu是Linux发行版中的一个流行选择，其稳定性和丰富的软件包管理器使得它成为搭建Hadoop集群的理想平台。 首先，我们需要准备以下工具： 1. VMware - 虚拟机软件，用于在本地计算机上模拟多台Ubuntu服务器。 2. ...
Hadoop YARN HA 集群安装部署详细图文教程
Stars.Sky 的博客
09-05 2902
Hadoop YARN HA 集群安装部署详细图文教程
Hadoop概述及集群搭建
最新发布
weixin_42894555的博客
04-13 724
狭义上Hadoop指的是Apache的一款开源软件。用Java语言实现的开源软件大数据框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理广义上Hadoop是围绕Hadoop打造的大数据生态圈。Hadoop 集群包括两个集群：HDFS集群、YARN集群两个集群逻辑上分离、通常物理上在一起逻辑上分离：两个集群相互之间没依赖、互不影响物理上在一起：某些角色进程往往部署在同一台物理服务器上两个集群都是标准的主从架构Hadoop 集群 = HDFS集群+YARN集群。
day2-搭建hdfs分布式集群
weixin_30621711的博客
10-17 230
1、搭建hdfs分布式集群 4.1 hdfs集群组成结构： 4.2 安装hdfs集群的具体步骤： 一、首先需要准备N台linux服务器 学习阶段，用虚拟机即可！ 先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点 二、修改各台机器的主机名和ip地址 主机名：hdp-01 对应的ip地址：192.168.33.61 主机名：...
搭建HDFS集群
ah531531的博客
07-09 132
hdfs集群组成结构： 安装hdfs集群的具体步骤： 1、学习阶段，用虚拟机即可！ 先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点 2、修改各台机器的主机名和ip地址 主机名：hdp-01 对应的ip地址：192.168.33.61 主机名：hdp-02 对应的ip地址：192.168.33.62 主机名：hdp-0...
HDFS集群搭建
qq_37436172的博客
05-05 943
在已经启动单机版hdfs的基础上进行 1.准备三台虚拟机（以完成网络配置，主机名配置，主机域名映射,防火墙关闭并关闭重启，ssh免密，安装JDK等等） 2.在node01上安装Hadoop，配置环境变量（修改和配置一些文件，修改时一定小心错一个字母就会失败。） 3.同步配置信息（把在node01上修改的配置文件同步到node02和node03上） 4.在node01上格式化，并启动集群。 5.用jps查看启动情况，并测试上传下载是否能成功。在web端查看
HDFS搭建分布式集群
大伟的博客
06-13 782
一、创建4台虚机 192.168.1.156 maste 192.168.1.157 slave1 192.168.1.158 slave2 192.168.1.159 slave3 1、修改4台机器hosts文件 sudo vi etc/hosts 2、修改每个机器的hostname ...
CentOS7搭建Hadoop集群
01-07
1. 前置准备 1.准备三台虚拟机 – node-1 (主节点) , node-2, node-3 2.JDK环境 3.修改主机名称 hostnamectl set-hostname node-1 ...修改etc/hadoop/hadoop-env.sh vi hadoop-env.sh export JAVA_HO
基于centos的大数据hadoop集群搭建说明文档
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
hadoop集群搭建(超级详细)
10-11
本文将详细讲解如何搭建一个Hadoop集群，包括虚拟机安装、环境配置、Hadoop和Zookeeper的安装及集群验证。以下是对每个步骤的详细说明： 一、虚拟机安装与配置 在搭建Hadoop集群之前，首先需要准备多台虚拟机。可以...
CM5和CDH5 搭建Hadoop 集群
03-30
在本篇中，我们将探讨如何使用CM5和CDH5搭建Hadoop集群，包括安装过程、可能遇到的问题以及解决方案。CM5（Cloudera Manager 5）是Cloudera公司提供的一个管理工具，用于简化Hadoop集群的部署、管理和监控。而CDH5...
4.HDFS集群—搭建集群分布式
小羽的博客
07-18 172
hadoop分布式搭建 完全分布式结构 host NN SNN DN tongyuzhe1 * tongyuzhe2 * * tongyuzhe3 * tongyuzhe4 * hadoop配置目录 如果出现启动失败，就把/tmp和配置文件目录还有hadoop软件文件夹都删除 全部重新弄 #进入hadoop配置目录 cd $HADOOP_HOME/etc/hadoop 角色启动位置 #hadoop配置文件千万不能有空行之类的 NameNode启动
HDFS高可用集群搭建
随我的博客
05-24 710
环境 CentOS 7 JAVA 1.8 Zookeeper 2.9.2 Hadoop 3.4.14 一、简单HDFS集群中存在的问题及解决办法 如何解决NameNode的单节点问题 多个NameNode备份原NameNode数据 如何解决多个NameNode是集群脑裂问题 使用QJM，QJM（Quorum Journal Manager）是Hadoop专门为Namenode共享存储开发的组件。其集群运行一组Journal Node，每个Journal 节点暴露一个简单的RPC接口，允许N.
Hadoop : 搭建hdfs分布式集群
琦彦
08-21 6626
什么是大数据   基本概念   在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！ 处理海量数据的核心技术： 海量数据存储：分布式 海量数据运算：分布式 这些核心技术的实现是不需要用户从零开始造轮子的存储和运算，...
Hadoop的分支hdfs的集群搭建
吃素的哈士奇de博客
03-10 2061
Hadoop的分支hdfs的搭建首先是三台服务器之间的免密追加自己的免密安装JDK安装hdfs集群下载安装包原理图修改配置文件hadoop-env.shcore-site.xml的修改hdfs-site.xml的修改修改start-dfs.sh,stop-dfs.sh 首先是三台服务器之间的免密 我写的免密操作 链接 追加自己的免密 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 安装JDK 上传jdk压缩包 然后在linux中将jdk压缩包解压
搭建HDFS集群方法
liujianguo1104的专栏
08-28 1385
下面是我搭建集群时写的步骤，参考了网上的一些信息，修改了一些地方，按照我写的方法现在我搭建的集群是1台Namenode和3台Datanode，方法里只是举例了1台Namenode和1台Datanode，要添加Datanode可以按照同样的步骤做。我用的版本是0.18.3，有点老了，0.19.x的步骤可能是一样的，0.20.x配置文件变了，可能改的地方稍多，大家看下，欢迎提。 前期
Hadoop 之 HDFS 分布式集群配置与使用（三）
weixin_42176639的博客
07-17 604
Hadoop 集群部署和测试
HDFS的集群扩展和故障切换策略
互联网知识分享
07-23 173
HDFS_URI：HDFS的地址，包括主机名和端口号。conf：Hadoop配置对象，用于配置HDFS的参数。cluster：MiniDFSCluster对象，用于启动和关闭HDFS集群。filePath：测试文件的路径。isActive：判断NameNode是否处于Active状态。HDFS的集群扩展和故障切换策略是提高HDFS性能和可用性的重要手段。通过集群扩展可以增加存储容量和处理能力，通过故障切换策略可以实现高可用性和容错能力。以上给出了基于Java代码的示例，展示了如何实现。
hadoop hdfs和yarn集群配置
07-10
配置Hadoop HDFS和YARN集群涉及到几个重要的配置文件： 1. hdfs-site.xml：这个文件于配置HDFS相关的参数，如数据大小、副本数量、NameNode和Node的存储路径等。示例配置```xml <configuration> <!-- 设置数据块大小为128MB --> <property> <name>dfs.blocksize</name> <value>134217728</value> </property> <!-- 设置副本数量为3 --> <property> <name>dfs.replication</name> <value>3</value> </property> <!-- 设置NameNode的存储路径 --> <property> <name>dfs.namenode.name.dir</name> <value>/path/to/namenode/directory</value> </property> <!--DataNode的存储路径 --> <property> <name>dfs.datanode.data.dir</name> <value>/path/to/datanode/directory</value> </property> </configuration> ``` 2. yarn-site.xml：这个文件用于配置YARN相关的参数，如ResourceManager和NodeManager的内存大小、日志路径等。示例配置： ```xml <configuration> <!-- 设置ResourceManager的内存大小为4GB --> <property> <name>yarn.resourcemanager.memory.mb</name> <value>4096</value> </property> <!-- 设置NodeManager的内存大小为2GB --> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>2048</value> </property> <!-- 设置日志路径 --> <property> <name>yarn.nodemanager.log-dirs</name> <value>/path/to/nodemanager/logs</value> </property> <!-- 设置YARN应用程序历史服务器的地址 --> <property> <name>yarn.timeline-service.address</name> <value>hostname:port</value> </property> </configuration> ``` 3. core-site.xml：这个文件用于配置Hadoop的核心参数，如HDFS的默认文件系统、YARN的默认资源管理器地址等。示例配置： ```xml <configuration> <!-- 设置HDFS的默认文件系统为hdfs://namenode:port --> <property> <name>fs.defaultFS</name> <value>hdfs://namenode:8020</value> </property> <!-- 设置YARN的默认资源管理器地址为resourcemanager:port --> <property> <name>yarn.resourcemanager.address</name> <value>resourcemanager:8032</value> </property> </configuration> ``` 这只是配置文件的基本示例，实际配置会根据你的集群规模和需求而有所不同。在配置文件中，你需要根据你的环境和需求修改相应的参数值。此外，还需要确保集群中所有节点上的配置文件保持一致。 配置完成后，将修改后的配置文件分发到集群中所有节点上，并重启HDFS和YARN服务，使配置生效。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值