Hadoop 之 集群安装（HDFS、YARN）

已于 2023-03-06 15:04:08 修改
阅读量1.5k 收藏 6
点赞数 2
分类专栏： 大数据 文章标签： hadoop
于 2023-03-06 09:42:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linghaowoneng/article/details/129355259
版权
本文介绍了如何在三台虚拟机上搭建Hadoop集群，包括设置SSH免密登录，时间同步，安装JDK，配置Hadoop环境，格式化NameNode，启动HDFS和YARN集群，以及进行HDFS和MapReduce的基本操作。
摘要由CSDN通过智能技术生成

简介：

  • Hadoop集群包括两个集群：HDFS集群和YARN集群。
  • 两个集群逻辑上分离、通常物理上在一起。

一：相关文档

  1. Hadoop安装包下载地址：

    Index of /dist/hadoop/common

  2. 安装使用 VMware 创建三台虚拟机。
  3. 三台虚拟机做好免密登录。（参考文档：

    SSH设置免密登录（centos7）_ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa_潮听哥的博客-CSDN博客

    ）
  4. 修改三台主机hostname（参考文档：

    修改主机hostname，推荐第二种_修改hostname_有欲无求的博客-CSDN博客

    ）。
  5. 安装jdk。（参考文档：

    centos7 安装jdk详细教程_centos7安装jdk_奇漠的博客-CSDN博客

    ）
  6. 每分钟执行一次时间同步 crontab -e ; */1 * * * * /usr/sbin/ntpdate ntp1.aliyun.com

二：开始安装

  1. 修改主机名（3台机器） 
    vim /etc/hostname

输入node1或node2或node3
  2. Hosts映射（3台机器） 
    vim /etc/hosts

192.168.106.3 node1
192.168.106.4 node2
192.168.106.5 node3
  3. 防火墙关闭（3台机器） 
    systemctl stop firewalld.service      #关闭防火墙
systemctl disable firewalld.service   #禁止防火墙开机自启
  4. ssh免密登录 
    注意：第一轮一次执行完后，再执行第二轮

node1
第一轮：
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
scp ~/.ssh/id_dsa.pub root@node2:/home/id_dsa_node1.pub
scp ~/.ssh/id_dsa.pub root@node3:/home/id_dsa_node1.pub
第二轮：
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
cat /home/id_dsa_node2.pub >> ~/.ssh/authorized_keys
cat /home/id_dsa_node3.pub >> ~/.ssh/authorized_keys


node2
第一轮：
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
scp ~/.ssh/id_dsa.pub root@node1:/home/id_dsa_node2.pub
scp ~/.ssh/id_dsa.pub root@node3:/home/id_dsa_node2.pub
第二轮：
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
cat /home/id_dsa_node1.pub >> ~/.ssh/authorized_keys
cat /home/id_dsa_node3.pub >> ~/.ssh/authorized_keys


node3
第一轮：
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
scp ~/.ssh/id_dsa.pub root@node1:/home/id_dsa_node3.pub
scp ~/.ssh/id_dsa.pub root@node2:/home/id_dsa_node3.pub
第二轮：
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
cat /home/id_dsa_node2.pub >> ~/.ssh/authorized_keys
cat /home/id_dsa_node1.pub >> ~/.ssh/authorized_keys
  5. 集群时间同步（3台机器） 
    每分钟执行一次时间同步 
crontab -e  

*/1 * * * *  /usr/sbin/ntpdate ntp1.aliyun.com
  6. JDK安装（3台机器）参考上面文档
  7. 下载编译好的hadoop安装包 hadoop-3.3.4.tar.gz 并解压 
    tar -zxf hadoop-3.3.4.tar.gz
mv hadoop-3.3.4 /usr/local
  8. hadoop目录介绍
  9. 修改配置文件  hadoop-env.sh 
    vim /usr/local/hadoop-3.3.4/etc/hadoop/hadoop-env.sh

文档末尾添加

export JAVA_HOME=/usr/local/java

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
  10. 修改配置文件  core-site.xml 
    vim /usr/local/hadoop-3.3.4/etc/hadoop/core-site.xml


<configuration>

<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://node1:8020</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/local/data/hadoop-3.3.4</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
	<name>hadoop.http.staticuser.user</name>
	<value>root</value>
</property>

<!-- 整合hive 用户代理设置 -->
<property>
	<name>hadoop.proxyuser.root.hosts</name>
	<value>*</value>
</property>

<property>
	<name>hadoop.proxyuser.root.groups</name>
	<value>*</value>
</property>

<!-- 文件系统垃圾桶保存时间 -->
<property>
	<name>fs.trash.interval</name>
	<value>1440</value>
</property>
</configuration>
  11. 修改配置文件  hdfs-site.xml 
    vim /usr/local/hadoop-3.3.4/etc/hadoop/hdfs-site.xml

<configuration>

<!-- 设置SNN进程运行机器位置信息 -->
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>node2:9868</value>
</property>

</configuration>
  12. 修改配置文件  mapred-site.xml 
    vim /usr/local/hadoop-3.3.4/etc/hadoop/mapred-site.xml

<configuration>

<!-- 设置MR程序默认运行模式：yarn集群模式 local本地模式  -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

<!-- MR程序历史服务地址 -->
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>node1:10020</value>
</property>

<!-- MR程序历史服务器web端地址 -->
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>node1:19888</value>
</property>

<property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

</configuration>
  13. 修改配置文件  yarn-site.xml 
    vim /usr/local/hadoop-3.3.4/etc/hadoop/yarn-site.xml

<configuration>

<!-- 设置YARN集群上主角色运行机器位置 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node1</value>
</property>

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

<!-- 是否将对容器实施物理内存限制 -->
<property>
	<name>yarn.nodemanager.pmem-check-enabled</name>
	<value>false</value>
</property>

<!-- 是否将对容器实施虚拟内存限制 -->
<property>
	<name>yarn.nodemanager.vmem-check-enabled</name>
	<value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
	<name>yarn.log.server.url</name>
	<value>http://node1:19888/jobhistory/logs</value>
</property>

<!-- 历史日志保存的时间 7天 -->
<property>
	<name>yarn.log-aggregation-retain-seconds</name>
	<value>604800</value>
</property>

</configuration>
  14. 修改配置文件 workers 
    vim /usr/local/hadoop-3.3.4/etc/hadoop/workers

node1
node2
node3

  15. 分发同步hadoop安装包 
    scp -r /usr/local/hadoop-3.3.4 root@node2:/usr/local/
scp -r /usr/local/hadoop-3.3.4 root@node3:/usr/local/

  16. 讲hadoop添加到环境变量（3台机器） 
    vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

---同步给另外两台机器
scp /etc/profile node2:/etc/
scp /etc/profile node3:/etc/

  17. NameNode format （格式化操作） 
    *. 首次启动HDFS时，必须对其进行格式化操作。
*. format 只能进行一次，后续不再需要。
*. format 本质上是初始化工作，进行HDFS清理和准备工作。
*. 执行命令： hdfs namenode -format

注意：如果多次format除了造成数据丢失外，还会导致hdfs集群主从角色之间互不识别。通过删除所有机器hadoop.tmp.dir目录重新format解决。

     出现successfully fromatted，表示格式化成功！

  18. 集群启动 
    *. HDFS集群
    start-dfs.sh
    stop-dfs.sh

*. YARN集群
    start-yarn.sh
    stop-yarn.sh

*. HDFS集群
    start-all.sh
    stop-all.sh

  19. 确定启动是否成功
  20. Hadoop 启动日志路径：/usr/local/hadoop-3.3.4/logs
  21. HDFS 集群地址：http://node1:9870/
  22.  YARN 集群地址：http://node1:8088/cluster
  23. 至此hadoop hdfs、yarn集群已经搭建完成！

三：HDFS初体验

shell命令操作
创建目录：hadoop fs -mkdir /test 
上传文件：hadoop fs -put aaa.txt /test
查看目录：hadoop fs -ls /

四：MapReduce+YARN 初体验

  • 执行hadoop官方自带的MapReduce案例，评估圆周率π的值 
    cd /usr/local/hadoop-3.3.4/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-3.3.4.jar pi 2 4

家在水草丰茂的地方
关注
专栏目录
Hadoop Yarn 安装
zlcd1988的专栏
06-30 4765
为了构建基于Yarn体系的Spark集群，先要安装Hadoop集群，为了以后查阅方便记录了我本次安装的具体步骤。
大数据Hadoop入门——HDFS、Yarn、MapReduce
weixin_44090845的博客
11-16 2436
Hadoop框架详细个人总结——Hadoop入门篇大数据是什么？Hadoop基本概念介绍一、什么是Hadoop？二、Hadoop优势——四高三、Hadoop组成（重点）四、HDFS架构五、YARN架构六、MapReduce架构七、HDFS、YARN、MapReduce 三者关系Hadoop运行环境搭建虚拟机的准备一、安装虚拟机二、虚拟机配置及环境准备Hadoop运行模式一、本地运行模式二、伪分布式模式三、完全分布式模式**1.虚拟机准备****2.准备一个集群分发脚本****3.SSH 无密登录配置****
hadoop-3.3.4.tar.gz + winutils 安装环境
08-03
【开发环境】安装 Hadoop 运行环境 ( 下载 Hadoop | 解压 Hadoop | 设置 Hadoop 环境变量 | 配置 Hadoop 环境脚本 | 安装 winutils ) https://hanshuliang.blog.csdn.net/article/details/132045605 一、下载 Hadoop 二、解压 Hadoop 三、设置 Hadoop 环境变量 四、配置 Hadoop 环境脚本 五、安装 winutils 六、重启电脑 七、验证 Hadoop 安装效果
大数据系列(一)之hadoop介绍及集群搭建
seawave的博客
09-29 947
大数据系列之hadoop 1、基础环境准备 本文例子所用环境为本地虚拟机搭建，具体虚拟机搭建方式本文不做介绍。 本地环境地址如下： ip地址 主机名 192.168.40.110 zht-master 192.168.40.111 zht-slave1 192.168.40.112 zht-slave2 1.1建立主机名与ip的映射关系 进入每一台服务器后台，修改hosts配置文件如下 [root@localhost ~]# vi /etc/hosts 127.0.0.
hadoop yarn安装
从大数据到人工智能的博客
09-22 861
上篇文章讲到如何安装hdfs，那本文继续安装yarn。 如何安装hdfs 修改mapred-site.xml，如下所示 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file
hadoop 安装部署-HDFS/YARN/MR
紫蝶侠的博客
05-07 279
1.HDFS安装 1.配置hdfs的NameNode（core-site.xml) vi etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://kafka1:9000</value> <description>配置NameNode的URL</description> <
安装Hadoop YARN
baidu_25845567的博客
02-29 468
安装OpenJDK1.7 sudo apt-get install openjdk-7-jdk 安装OpenSSH sudo apt-get install ssh sudo apt-get install rsync 创建hadoop组 sudo addgroup hadoop 创建用户houser并添加到hadoop组 sudo adduser --ingroup ha
HadoopHA集群部署、YARNHA测试Job教学课件.pptx
06-20
【Hadoop HA 集群部署与 YARN HA 测试Job 教学】 在大数据处理领域，Hadoop 是一个至关重要的分布式计算框架，它提供了高可用性（HA）的特性来确保服务的连续性和稳定性。Hadoop HA 主要指的是 HDFS（Hadoop ...
hadoop之HDFS安装配置
Cheney6的博客
08-23 1591
准备工作 是否安装JDK 是否配置静态IP 配置 IP和主机名映射 (根目录输入 vi /etc/hosts） 检查虚拟机时间是否同步，输入date查看 关闭防火墙： systemctl disable firewalld 1.免密设置 ssh one 先连接需要免密的服务器，输入yes exit 退出 cd .ssh ssh-keygen -t rsa 四个回车（可能要输y） ssh-copy-id two three four five（四个虚拟机名字）要免密哪台...
hadoop处理框架，hdfs，mapreduce，yarn
08-29
Hadoop 处理框架、HDFS、MapReduce、YARN Hadoop 处理框架是大数据处理和分析的重要工具，主要由 HDFS、MapReduce 和 YARN 三个组件组成。HDFS 是一个分布式文件系统，提供高吞吐量的数据访问；MapReduce 是一个...
HadoopHA集群部署、YARNHA配置、启动与验证教学课件.pptx
06-20
【Hadoop HA集群部署】是高可用(High Availability)配置的一种，主要目的是为了确保Hadoop分布式文件系统在遇到单点故障时，能够自动切换到备用节点，保证服务不间断。这通常涉及到NameNode HA，Secondary NameNode...
Hadoop 之 Yarn 及 Yarn HA的安装
Jhon_yh的博客
11-23 409
YARN yarn 是Hadoop的资源调度系统 yarn 通过两类长期运行的的守护进程提供自己的核心服务。 管理集群上资源使用的资源管理器（ResourceManager） 运行在所有节点上且能够启动和监控容器（Container）的节点管理器（node manager） 容器用于执行特定应用程序的进程，每个容器都有资源限制（内存，CPU等）。 ...
hdfs和yarn安装过程
ct1104的博客
03-16 1799
1.配置虚拟机 IP 名字 2.配置免密登录 (ssh-keygen -t rsa 生成两个文件id_rsa（私钥）、id_rsa.pub（公钥））(ssh-copy-id 主机地址 发送公钥到指定主机（自己也要发）) 3.安装JDK配置JDK环境（官方建议修改配置环境在/etc/profile.d下建立一个文件写自己需要配置的环境） 4.安装Hadoop配置hadoop环境 5.修改hadoop自定义配置文件 core-site.xml 集群核心配置 配置NameNode的地址、存储目录 hdfs...
安装二：hdfs的运行和YARN资源管理系统的配置和启动
世界之大
03-07 314
YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。hdfs的使用和管理创建一个words.txt...
17-hadoop-yarn安装
weixin_33910434的博客
07-20 99
在搭建好的 resourceHA的环境下, 配置yarn yarn是 hadoop2以后的计算框架,   通过ResourceManager的调用, 将我们写的程序包分到各个nodeManager上, 由于hadoop的理念是移动计算, 所以NodeManager和 DataNode是同一个机器   在 ${hadoop_home}/etc/hadoop 下 vim yarn-site.xml ...
2.安装hdfs yarn
weixin_30662109的博客
08-30 131
下载hadoop压缩包设置hadoop环境变量设置hdfs环境变量设置yarn环境变量设置mapreduce环境变量修改hadoop配置设置core-site.xml设置hdfs-site.xml设置yarn-site.xml设置mapred-site.xml设置slave文件分发配置启动hdfs格式化namenode启动hdfs检查hdfs启动情况启动yarn测试mr任务hadoop本地库hdf...
Hadoop04---Yarn的安装与基础
lb634774742的博客
11-27 323
Yarn的安装与基础 一 配置Yarn yarn在hadoop中存在，对配置文件稍加修改即可使用 1.修改yarn-site.xml 在hadoop/etc/hadoop/yarn-site.xml 添加如下内容： <!-- resourcemanager主节点所在机器 --> <property> <name>yarn.resourcemanager.hostname</name> <value>linux01</value> &l
Hadoop学习 第四章 Hive
最新发布
qq_74234591的博客
11-09 984
如果让您设计Hive这款软件，要求能够实现1.用户只编写sql语句2.Hive自动将sql转换MapReduce程序并提交运行3.处理位于HDFS上的结构化数据。如何实现?
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值