大数据最全Hadoop集群部署和启动与关闭_启动hadoop，不看绝对血亏

于 2024-05-07 06:25:52 发布
阅读量952 收藏 13
点赞数 26
分类专栏： 程序员 文章标签： 大数据 hadoop 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84141419/article/details/138517136
版权

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

为了提高Hadoop集群的高可用性，通常使用ZooKeeper为Hadoop集群提供自动故障转移和数据一致性服务。

首先我们先规划三台虚拟机的Hadoop高可用集群：
  为了提高Hadoop集群的高可用性，集群中至少需要两个NameNode节点（一个主节点，一个备用节点）和两个ResourceManager节点 (一个主节点，一个备用节点)以满足HDFS和YARN的高可用性，同时为了满足“过半写入则成功”的原则，集群中至少需要三个 JournalNode节点。如下图所示：
在这里插入图片描述
高可用相关服务介绍作用如下：

  1. ZKFC（ZKFailoverController）
    ZooKeeper的客户端，用于监视和管理NameNode的状态，运行NameNode的每台机器都需要运行ZKFC。
  2. ZooKeeper
    表示ZooKeeper服务。
  3. JournalNode
    负责两个NameNode之间通信，JournalNode通常在DataNode节点启动。
  4. NodeManager
    执行应用程序的容器，监控应用程序的资源使用情况并且向调度器ResourceManager汇报。
  5. ResourceManager
    负责集群中所有资源的统一管理和分配，它接收来自NodeManager的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序。
  6. DataNode
    存储真实的数据文件，周期性向NameNode汇报心跳和数据块信息。
  7. NameNode
    存储元数据信息以及数据文件与数据块的对应信息。

一、安装Hadoop

  1. 下载Hadoop
    访问Apache资源网站下载Linux操作系统的Hadoop安装包hadoop-2.7.4.tar.gz。

注意：还没有下载安装包的，下载地址可以去这里查看：大数据相关常用软件下载地址集锦

  1. 上传Hadoop安装包
    使用SecureCRT远程连接工具连接虚拟机Spark01，在存放应用安装包的目录/export/software/下执行“rz”命令上传Hadoop安装包。
  2. 安装Hadoop
    在虚拟机Spark01中，通过解压缩的方式安装Hadoop，将Hadoop安装到存放应用的目录/export/servers/。命令如下：
    tar -zxvf /export/software/hadoop-2.7.4.tar.gz -C /export/servers/
  3. 配置环境变量
    执行“vi /etc/profile”命令编辑系统环境变量文件profile，配置Hadoop环境变量,如下：
# Hadoop系统环境变量
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

完成系统环境变量文件profile配置后保存退出，不过此时配置内容尚未生效，还需要执行“source /etc/profile”命令初始化系统环境变量使配置内容生效。

  1. 测试
    执行“hadoop version”命令查看Hadoop版本

二、Hadoop高可用集群配置

安装好Hadoop后，只读默认配置文件，包括core-default.xml、hdfs-default.xml、mapred-default.xml和yarn-default.xml，这些文件包含了Hadoop系统各种默认配置参数，位于jar文件中。

自定义配置文件，这些文件基本没有任何配置内容，存在于Hadoop安装目录下的etc/hadoop/目录中，包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等，开发人员可以根据实际需求进行修改，Hadoop会优先选择自定义配置文件中的参数。

  1. 修改hadoop-env.sh文件
      在虚拟机Spark01中，进入Hadoop安装包的/etc/hadoop/目录，执行“vi hadoop-env.sh”命令编辑hadoop-env.sh文件，将文件内默认的JAVA_HOME参数修改为本地安装JDK的路径。如下图所示：
    在这里插入图片描述
  2. 修改yarn-env.sh文件
      在虚拟机Spark01中，进入Hadoop安装包的/etc/hadoop/目录，执行“vi yarn-env.sh”命令编辑yarn-env.sh文件，将文件内默认的JAVA_HOME参数修改为本地安装JDK的路径。如下图所示：
    在这里插入图片描述
  3. 修改core-site.xml文件
      在虚拟机Spark01中，进入Hadoop安装包的/etc/hadoop/目录，执行“vi core-site.xml”命令编辑Hadoop的核心配置文件core-site.xml。如下：
<property>
    <name>fs.defaultFS</name> #配置命名空间管理服务制定通信地址
    <value>hdfs://master</value>
</property>
<property>
    <name>hadoop.tmp.dir</name> #存储临时文件的目录
    <value>/export/servers/hadoop-2.7.4/tmp</value>
</property>
<property>
    <name>ha.zookeeper.quorum</name> #ZooKeeper集群地址
    <value>spark01:2181,spark02:2181,spark03:2181</value>
</property>
  1. 修改hdfs-site.xml文件
      在虚拟机Spark01中，进入Hadoop安装包的/etc/hadoop/目录，执行“vi hdfs-site.xml”命令编辑HDFS的核心配置文件hdfs-site.xml。
<property>
    <name>dfs.replication</name> #HDFS副本数
    <value>3</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name> #NameNode 节点数据（即元数据）的存放位置
    <value>/export/data/hadoop/namenode</value>
</property>
<property>    
    <name>dfs.datanode.data.dir</name>    #DataNode 节点数据（即数据块）的存放位置
    <value>/export/data/hadoop/datanode</value>    
</property>
<property>
    <name>dfs.nameservices</name> #处理外部访问HDFS的请求
    <value>master</value>
</property>
<property>
    <name>dfs.ha.namenodes.master</name> #定义每个NameNode节点的唯一标识符
    <value>nn1,nn2</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.master.nn1</name> #标识符nn1的RPC服务地址
    <value>spark01:9000</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.master.nn2</name> #标识符nn2的RPC服务地址
    <value>spark02:9000</value>
</property>
<property>
    <name>dfs.namenode.http-address.master.nn1</name>#标识符nn1的HTTP服务地址
    <value>spark01:50070</value>
</property>
<property>
    <name>dfs.namenode.http-address.master.nn2</name>#标识符nn2的HTTP服务地址
    <value>spark02:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>#NameNode元数据在JournalNode上的共享存储目录
  <value>qjournal://spark01:8485;spark02:8485;spark03:8485/master</value>
</property>
<property>
    <name>dfs.journalnode.edits.dir</name>#JournalNode存放数据地址
    <value>/export/data/hadoop/journaldata</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.master</name>#访问代理类，用于确定当前处于 Active 状态的 NameNode节点
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
    <name>dfs.ha.fencing.methods</name>#配置隔离机制，确保集群中只有一个NameNode处于活动状态
    <value>
        sshfence
        shell(/bin/true)
    </value>
</property>
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>#sshfence隔离机制需要配置本机密钥地址
    <value>/root/.ssh/id_rsa</value>
</property>
<property>
    <name>dfs.ha.automatic-failover.enabled</name>#开启自动故障状态切换
    <value>true</value>
 </property>
<property>
	<name>dfs.ha.fencing.ssh.connect-timeout</name>#sshfence隔离机制超时时间
	<value>30000</value>
</property>
<property> 
	<name>dfs.webhdfs.enabled</name> #开启webhdfs服务
	<value>true</value> 
</property>
  1. 修改mapred-site.xml文件
      在虚拟机Spark01中，进入Hadoop安装包的/etc/hadoop/目录，执行“cp mapred-site.xml.template mapred-site.xml”命令，通过复制模板文件方式创建MapReduce
    的核心配置文件mapred-site.xml，执行“vi mapred-site.xml”命令编辑配置文件
    mapred-site.xml ，指定MapReduce运行时框架。如下：
<property>
      <name>mapreduce.framework.name</name>#指定MapReduce 作业运行在 YARN框架之上
      <value>yarn</value>
</property>
  1. 修改yarn-site.xml文件
      在虚拟机Spark01中，进入Hadoop安装包的/etc/hadoop/目录，执行“cp yarn-site.xml”命令，编辑YARN的核心配置文件yarn-site.xml。如下：
<property>
    <name>yarn.nodemanager.aux-services</name>#配置NodeManager上运行的附属服务，需要配置为mapreduce_shuffle
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.ha.enabled</name>#开启ResourceManager的HA机制
    <value>true</value>
</property>
<property>
    <name>yarn.resourcemanager.cluster-id</name>#自定义ResourceManager集群的标识符
    <value>yarncluster</value>
</property>
<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>#自定义集群中每个ResourceManager节点的唯一标识符
    <value>rm1,rm2</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm1</name>#指定标识符rm1的ResourceManager节点
    <value>spark01</value>
</property>
<property>


![img](https://img-blog.csdnimg.cn/img_convert/41a4fd15ffb64fd2872657f4a91148e8.png)
![img](https://img-blog.csdnimg.cn/img_convert/b814725afc26561ba760cb3aa169221a.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**


**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2401_84141419
关注
  • 26
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop配置和启动
Zimuxs的博客
04-25 6303
Apache的Hadoop是一个开源的、可靠的、可扩展的系统架构，可利用分布式架构来存储海量数据，以及实 现分布式的计算。 Hadoop允许使用简单的编程模型在计算机集群中对大型数据集进行分布式处理。可以从单个服务器扩展到数 千台机器，每个机器都提供本地计算和存储，而不是依靠硬件来提供高可用性。 此外，Hadoop集群的高可用性也非常良好，因为框架内的机制是可以够自动检测和处理故障。 Hadoop的两个作用： ①存储海量数据 ②计算海量数据 Hadoop配置及启动的准备工作: 启
大数据课程-Hadoop集群程序设计与开发-2.Hadoop集群的构建_lk_edit.pptx
01-01
大数据课程——Hadoop集群程序设计与开发，教师版，提供教学大纲、教案、教学设计、实训文档等，课程内容包含教学准备环境、软件安装、作业、教学文档、演示视频，花费巨额时间亲自制作，下载后可私信提供上述所有...
Hadoop集群部署和启动与关闭
热门推荐
想你依然心痛的博客
06-12 3万+
为了提高Hadoop集群的高可用性，集群中至少需要两个NameNode节点（一个主节点，一个备用节点）和两个ResourceManager节点 (一个主节点，一个备用节点)以满足HDFS和YARN的高可用性，同时为了满足“过半写入则成功”的原则，集群中至少需要三个 JournalNode节点。在虚拟机Spark01中的NameNode主节点执行初始化命令后，需要将元数据目录的内容复制到其他未格式化的 NameNode备用节点（虚拟机Spark02）上，确保主节点和备用节点的NameNode数据一致。
Hadoop集群的启动
weixin_44943389的博客
09-30 6954
在首次启动Hadoop之前还需要进行一些配置工作我们是在Linux集群上安装Hadoop集群。
Hadoop入门（十）：集群启动关闭的常见命令总结
全栈川川
08-28 4220
hadoop常见命令总结
Hadoop集群搭建详细教程
m0_65029172的博客
07-27 3490
Hadoop集群搭建详细教程
大数据课程-Hadoop集群程序设计与开发-1.Hadoop入门_lk_edit.ppt
01-01
大数据课程——Hadoop集群程序设计与开发，教师版，提供教学大纲、教案、教学设计、实训文档等，课程内容包含教学准备环境、软件安装、作业、教学文档、演示视频，花费巨额时间亲自制作，下载后可私信提供上述所有...
大数据课程-Hadoop集群程序设计与开发-5.Yarn资源调度器_lk_edit.pptx
01-01
大数据课程——Hadoop集群程序设计与开发，教师版，提供教学大纲、教案、教学设计、实训文档等，课程内容包含教学准备环境、软件安装、作业、教学文档、演示视频，花费巨额时间亲自制作，下载后可私信提供上述所有...
大数据课程-Hadoop集群程序设计与开发-4.MapReduce分布式计算框架_lk_edit.pptx
01-01
大数据课程——Hadoop集群程序设计与开发，教师版，提供教学大纲、教案、教学设计、实训文档等，课程内容包含教学准备环境、软件安装、作业、教学文档、演示视频，花费巨额时间亲自制作，下载后可私信提供上述所有...
2024年大数据最新Hadoop集群部署和启动与关闭_启动hadoop(1)，全网最具深度的三次握手、四次挥手讲解
最新发布
2301_82241942的博客
05-05 354
系统环境变量文件profile配置完成后保存并退出即可，随后执行“完成分发操作，分别在虚拟机Spark02和Spark03中执行“”命令初始化系统环境变量使配置内容生效。”命令初始化系统环境变量。
hadoop集群关闭命令顺序_启动和关闭Hadoop集群命令步骤
weixin_42499919的博客
02-01 1657
启动和关闭Hadoop集群命令步骤总结：1. 在master上启动hadoop-daemon.sh start namenode.2. 在slave上启动hadoop-daemon.sh start datanode.3. 用jps指令观察执行结果.4. 用hdfs dfsadmin -report观察集群配置情况.5. 通过http://npfdev1:50070界面观察集群运行情况.(如果遇到...
Hadoop 启动/停止集群和节点的命令
ThisIsNobody的博客
06-19 2万+
集群启动/停止Hadoop集群：start-all.sh    stop-all.sh1) 启动NameNode, DataNode2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步3) 启动DFSZKFailoverController, HA会启用ZooKeeper Failover ...
Hadoop集群的启动步骤 ？？？
岚风尘雨吾独醉、
08-20 1121
关闭集群的命令 stop-all.sh 1.先启动zookeeper集群 在zookeeper安装目录的bin目录下执行，sh zkServer.sh start 出现leader和follower时候说明启动成功 如果是第一次启动Hadoop集群，需要先将hdfs注册到zookeeper集群中，不是第一次 则忽略 命令是 hdfs zkfc -formatZK 2....
Hadoop启动命令
m0_67391121的博客
04-18 1955
下载hadoop并解压 配置hdfs 修改配置文件etc/hadoop/hadoop-env.sh JAVA_HOME=/home/middleware/jdk 修改配置文件etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://XXXXXX:9000</value>
HDFS 启动与关闭
lzxyzq的博客
05-04 1万+
一.HDFS 启动与关闭 HDFS 和普通的硬盘上的文件系统不一样，是通过Java 虚拟机运行在整个集群当中的，所以当Hadoop 程序写好之后，需要启动HDFS 文件系统，才能运行。 HDFS 启动过程如下： 1）进入到NameNode 对应节点的Hadoop 安装目录下。 2）执行启动脚本：   bin/start-dfs.sh 这一脚本会启动NameNode，
手动开启/关闭HDFS的safemode(安全模式)
麦迪康
08-06 5514
在hadoop启动namenode的时候，会启动安全模式（safemode），在该模式下，namenode会等待datanode向它发送块报告（block report），只有接收到的datanode上的块数量（datanodes blocks）和实际的数量（total blocks）接近一致， 超过 datanodes blocks / total blocks >= 99.9% 这个阀值，就表示 块数量一致，就会推出安全模式。达到99.9%的阀值之后，文件系统不会立即推出安全模式，而是会等
hadoop暂时/永久关闭安全模式
qq_39022311的博客
07-30 1万+
在安全模式下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入 安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。 但是如果是在小型测试集群，往往因为结点数量较少，很可能导致集群一...
如何打开，关闭hadoop集群
m0_53291740的博客
11-21 1122
顶顶顶顶 root@master:~# cd .. //一直cd ..进入根目录然后一层一层地找你的hadoop文件的位置 root@master:/# ls bin dev initrd.img lib64 mnt root snap tmp vmlinuz boot etc initrd.img.old lost+found opt run srv usr vmlinuz.old cdrom home lib
请编写一个脚本控制Hadoop集群的启动与关闭
06-01
好的，以下是一个简单的脚本，用于控制Hadoop集群的启动和关闭。 1. 启动脚本： ``` #!/bin/bash # 启动Hadoop集群 echo "Starting Hadoop cluster..." start-all.sh ``` 保存为start-hadoop.sh，并赋予可执行权限： ``` chmod +x start-hadoop.sh ``` 2. 关闭脚本： ``` #!/bin/bash # 关闭Hadoop集群 echo "Stopping Hadoop cluster..." stop-all.sh ``` 保存为stop-hadoop.sh，并赋予可执行权限： ``` chmod +x stop-hadoop.sh ``` 3. 使用脚本启动或关闭Hadoop集群： ``` # 启动Hadoop集群 ./start-hadoop.sh # 关闭Hadoop集群 ./stop-hadoop.sh ``` 希望以上脚本可以帮助你控制Hadoop集群的启动和关闭。需要注意的是，脚本中的start-all.sh和stop-all.sh需要根据实际情况修改，确保脚本能够正确地启动和关闭Hadoop集群。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值