Hadoop（1）——Hadoop集群构建（10）——启动和关闭Hadoop集群

最新推荐文章于 2024-04-15 05:37:06 发布
最新推荐文章于 2024-04-15 05:37:06 发布
阅读量3.5k 收藏 25
点赞数
分类专栏： Hadoop 文章标签： hadoop big data spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54348877/article/details/120537821
版权

太多了，记得看目录

需要启动的集群：启动HDFS和YARN集群

启动方式：单节点逐个启动 或者 使用脚本一键启动

一、单节点启动、关闭

HDFS进程：

1. 启动HDFS的 namenode

hadoop01中，输入：hadoop-daemon.sh start namenode

 2. 启动HDFS的 datanode

hadoop01中，输入：hadoop-daemon.sh start datanode

 3. 验证启动

hadoop01中，输入：jps

这个命令可以查看和java相关的进程

出现了namenode和datanode就成功了

若启动未成功，转到此文章了解(2条消息) 启动Hadoop集群、启动Hadoop的HDFS失败、namenode启动不了、datanode启动不了、jps后进程只有一个_连胜是我偶像的博客-CSDN博客

4.其他两台主机 不一样设置

只启动 HDFS DataNode进程 --> 验证启动

最低0.47元/天 解锁文章
连胜是我偶像
关注
  • 0
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark+hadoop+scala 完全分布式集群搭建过程及启动过程
07-08
对于想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，Spark 集群的构建分为了五个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整...
Hadoop安装和配置
江湖行骗老中医
04-11 1517
注意：安装JDK类似，解压后配置环境变量 0. Hadoop下载地址： https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/ 1. 用SecureCRT工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面 切换到sftp连接页面，选择Linux下编译的hadoop jar包拖入，如图...
Hadoop启动停止的三种方式
yjc_1111的专栏
12-06 3993
（1）分别启动HDFS和MapReduce，命令如下： 启动： start-dfs.sh start-mapred.sh 停止： stop-mapred.sh stop-dfs.sh （2）全部启动或停止 启动： start-all.sh 启动顺序： NameNode->DataNode->Seco
Hadoop集群部署和启动与关闭_启动hadoop，2024年最新大数据开发高级开发岗必问知识点
2401_84164699的博客
04-15 1049
自定义配置文件，这些文件基本没有任何配置内容，存在于Hadoop安装目录下的etc/hadoop/目录中，包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等，开发人员可以根据实际需求进行修改，Hadoop会优先选择自定义配置文件中的参数。为了提高Hadoop集群的高可用性，通常使用ZooKeeper为Hadoop集群提供自动故障转移和数据一致性服务。完成系统环境变量文件profile配置后保存退出，不过此时配置内容尚未生效，还需要执行“
Hadoop集群的启动与停止
qq_69722036的博客
10-15 3166
r=4 读的权限 w=2 写的权限 x=1 执行的权限。例如：192.168.191.131:9870 # ip+端口。7.进入hadoop的web网站进行访问，用自己的虚拟机IP地址。2.编辑hadoop.sh集群控制文件。二.编辑hadoop启动与停止的脚本。一.hadoop集群的启动与停止。（二）启动和停止hadoop集群。（一）启动hadoop集群。（二）停止hadoop集群。1.启动hadoop集群。4.停止hadoop集群。4.启动hadoop。
Hadoop集群部署和启动与关闭
热门推荐
想你依然心痛的博客
06-12 3万+
为了提高Hadoop集群的高可用性，集群中至少需要两个NameNode节点（一个主节点，一个备用节点）和两个ResourceManager节点 (一个主节点，一个备用节点)以满足HDFS和YARN的高可用性，同时为了满足“过半写入则成功”的原则，集群中至少需要三个 JournalNode节点。在虚拟机Spark01中的NameNode主节点执行初始化命令后，需要将元数据目录的内容复制到其他未格式化的 NameNode备用节点（虚拟机Spark02）上，确保主节点和备用节点的NameNode数据一致。
hadoop 集群启停步骤
shanyaodou的博客
03-23 506
hadoop 集群启停步骤
hadoop启动之“hadoop-daemon.sh”详解
sinoyang的专栏
09-26 2万+
今天看了一下启动文件“hadoop-daemon.sh”，仔细看了一下大概知道它的作用，使用“hadoop-daemon.sh“脚本启动和停止hadoop后台程序。它可以做到在A机器上启动”namenode“，B机器启动”secondarynamenode“ C机器启动”datanode“， ”tasktracker“，具体启动如下 ：  ./hadoop-daemon.sh start nam
hadoop运行模式（完全分布式）——xsync集群分发脚本
01-09
xsync集群分发脚本 需求：循环复制文件到所有节点的相同目录下 需求分析： （a）rsync命令原始拷贝： 　rsync -rvl /opt/module root@hadoop12:/opt/ （b）期望脚本： 　xsync要同步的文件名称 （c）我们将xsync脚本...
07hadoop的安装&hdfs集群的配置与测试——好程序
01-07
1•Local (Standalone) Mode（单节点的本地模式）Linux的文件系统就是hadoop的存储系统运行在单个的jvm环境，它使用linux的文件系统，适用于开发、测试、调试环境 运行案例 2•Pseudo-Distributed Mode（伪分布式...
如何构建最优化的Hadoop集群
01-30
数据库和文件中储存的数据量每天都在增长，因此我们需要构建能够储存大量数据(...在本文中，我将尝试说明如何构建一个可伸缩的Hadoop集群，以存储、索引、检索和维护理论上无限容量的数据。1.网络体系结构2.操作系统3
1.Hadoop3.2.1 单机伪分布集群安装
01-07
Hadoop3.2.1 单机伪分布集群安装 一.准备环境： 1台 linux 虚拟机(Centos7.x 64 位) ip 为：192.168.2.100 hostname 为：hadoop100 虚拟机基本环境配置： 集群用到的所有机器都参考此流程进行配置。 1.主机名设置 ...
hadoop系列（二）常用配置、启动方式、HDFS，YARN配置文件
qq789aa134的博客
09-14 1141
Hadoop（二）常用配置、启动方式、HDFS，YARN配置文件概述：来自Hadoop官网的介绍fill:#333;color:#333;color:#333;fill:none;}1.本地模式数据储存在Linux本地2.伪分布式-单台节点数据储存在单台节点的HDFS3.完全分布式-001节点数据储存在节点的HDFS3.完全分布式-002节点3.完全分布式-003节点。
hadoop集群之HDFS和YARN启动和停止命令
weixin_33826609的博客
01-09 215
假如我们只有3台linux虚拟机，主机名分别为hadoop01、hadoop02和hadoop03，在这3台机器上，hadoop集群的部署情况如下： hadoop01：1个namenode，1个datanode，1个journalnode，1个zkfc，1个resourcemanager，1个nodemanager； hadoop02：1个namenode，1个datanode，1个journ...
大数据上课笔记之Hadoop集群的启动和测试
Cisyamr的博客
11-09 3103
Hadoop集群正常启动后，它默认开放了两个端口9870和8088，分别用于监控HDFS集群和YARN集群。通过UI界面可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问。
Hadoop集群启动和停止方法
苍夜月明的博客
07-04 4302
    先看一下集群是怎么规划的，这样就知道哪个服务器该开哪个了，不能瞎开啊！    注意点：所有服务器的 HDFS 都有 DataNode，YARN 都有 NodeManagerResourceManager 很消耗内存，不能和 NameNode、SecondaryNameNode 配置在同一台机器上。（有钱人另说，电脑好啥都能干）NameNode和SecondaryNameNode不能在同一台服务器上          什么叫一起启动 / 停止呢？ 就是一下把hadoop102、hadoop103、ha
大数据Hadoop集群的启动
赵广陆
10-27 1万+
目录1 启动准备工作1.1 配置操作系统的环境变量1.2 创建Hadoop数据目录1.3 格式化文件系统1.4 启动和关闭Hadoop1.5 验证Hadoop是否成功启动1.6 hadoop-daemon.sh的使用2 HDFS常用的操作命令3 hdfs的高级使用命令3.1 HDFS文件限额配置3.2 数量限额3.3 空间大小限额3.4 HDFS的管理命令3.5 hdfs的安全模式 1 启动准备工作 通过前面的配置现在可以启动Hadoop集群了，但是在首次启动Hadoop时还需要做一些准备工作。 1.1
linux启动hadoop代码
最新发布
04-25
在Linux上启动Hadoop的代码主要包括以下几个步骤： 1. 启动Hadoop集群的NameNode：执行以下命令启动NameNode服务： ``` $HADOOP_HOME/sbin/hadoop-daemon.sh start namenode ``` 2. 启动Hadoop集群的DataNode：执行以下命令启动DataNode服务： ``` $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode ``` 3. 启动Hadoop集群的ResourceManager：执行以下命令启动ResourceManager服务： ``` $HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager ``` 4. 启动Hadoop集群的NodeManager：执行以下命令启动NodeManager服务： ``` $HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager ``` 5. 启动Hadoop集群的JobHistoryServer：执行以下命令启动JobHistoryServer服务： ``` $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver ``` 请注意，上述命令中的`$HADOOP_HOME`是指Hadoop安装目录的路径，你需要根据你的实际情况进行替换。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值