Hadoop 启动/停止集群和节点的命令

最新推荐文章于 2024-09-10 17:21:21 发布
最新推荐文章于 2024-09-10 17:21:21 发布
阅读量3.1k 收藏 9
点赞数 2
分类专栏： 大数据

 

 

集群

启动/停止Hadoop集群：start-all.sh    stop-all.sh

1) 启动NameNode, DataNode

2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步

3) 启动DFSZKFailoverController, HA会启用ZooKeeper Failover Controller

4) 启动YARN守护进程ResourceManager, NodeManager

启动/停止HDFS集群：start-dfs.sh    stop-dfs.sh

1) 启动NameNode, DataNode

2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步

3) 启动DFSZKFailoverController, HA会启用ZooKeeper Failover Controller

启动/停止YARN集群：start-yarn.sh    stop-yarn.sh

据说如果ResourceManager和NameNode不在同一台机器上，那NameNode上无法直接使用start-yarn.sh启动ResourceManager，但NodeManager可以启动，ResourceManager需要在ResourceManager节点上启动，这一点待考证

 

节点

启动NameNode: hadoop-daemon.sh start namenode

启动DataNode: hadoop-daemon.sh start datanode

启动JournalNode节点: hadoop-daemon.sh start journalnode

启动zkfc节点：hadoop-daemon.sh start zkfc

启动ResourceManager: yarn-daemon.sh start resourcemanager

启动NodeManager: yarn-daemon.sh start nodemanager

启动ZooKeeper节点：zkServer.sh start    启动QuorumPeerMain进程

查看ZooKeeper节点状态：zkServer.sh status    查看leader和follower状态

格式化HDFS: hdfs namenode -format

格式化ZKFC：hdfs zkfc -formatZK

查看NameNode和DataNode信息： hdfs dfsadmin -report

查看高可用NameNode状态： hdfs haadmin -getServiceState nn1 (active/standby)

 

Web界面端口

NameNode 50070

DataNode 50075

ResourceManager 8088

NodeManager 8042

更多端口参考

 

安装，查看等常用命令 

查看进程：jps

kill进程：kill -9 pid

内容追加到文件：echo content > file, 如 echo 1 > myid

SSH拷贝：scp,如scp -r /usr/local/hadoop master:/usr/local

关闭防火墙：

查看状态systemctl status firewalld

关闭防火墙systemctl stop firewalld

开机禁用防火墙systemctl disable firewalld

配置免登录：

ssh-keygen -t rsa

ssh-copy-id -i host01

启动集群的过程：

[root@hadoop01 sbin]# sh start-all.sh 
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
19/03/12 09:22:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [hadoop01 hadoop02]
hadoop01: starting namenode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-namenode-hadoop01.out
hadoop02: starting namenode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-namenode-hadoop02.out
hadoop05: starting datanode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-datanode-hadoop05.out
hadoop07: starting datanode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-datanode-hadoop07.out
hadoop06: starting datanode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-datanode-hadoop06.out
hadoop04: starting datanode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-datanode-hadoop04.out
hadoop08: starting datanode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-datanode-hadoop08.out
Starting journal nodes [hadoop04 hadoop05 hadoop06 hadoop07 hadoop08]
hadoop06: starting journalnode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-journalnode-hadoop06.out
hadoop05: starting journalnode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-journalnode-hadoop05.out
hadoop04: starting journalnode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-journalnode-hadoop04.out
hadoop08: starting journalnode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-journalnode-hadoop08.out
hadoop07: starting journalnode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-journalnode-hadoop07.out
19/03/12 09:23:12 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting ZK Failover Controllers on NN hosts [hadoop01 hadoop02]
hadoop01: starting zkfc, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-zkfc-hadoop01.out
hadoop02: starting zkfc, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-zkfc-hadoop02.out
starting yarn daemons
starting resourcemanager, logging to /usr/software/hadoop-2.7.1/logs/yarn-root-resourcemanager-hadoop01.out
hadoop07: starting nodemanager, logging to /usr/software/hadoop-2.7.1/logs/yarn-root-nodemanager-hadoop07.out
hadoop06: starting nodemanager, logging to /usr/software/hadoop-2.7.1/logs/yarn-root-nodemanager-hadoop06.out
hadoop08: starting nodemanager, logging to /usr/software/hadoop-2.7.1/logs/yarn-root-nodemanager-hadoop08.out
hadoop04: starting nodemanager, logging to /usr/software/hadoop-2.7.1/logs/yarn-root-nodemanager-hadoop04.out
hadoop05: starting nodemanager, logging to /usr/software/hadoop-2.7.1/logs/yarn-root-nodemanager-hadoop05.out
 

停止集群的过程：

[root@hadoop01 sbin]# sh stop-all.sh 
This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh
19/03/12 09:19:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Stopping namenodes on [hadoop01 hadoop02]
hadoop01: stopping namenode
hadoop02: stopping namenode
hadoop07: stopping datanode
hadoop08: stopping datanode
hadoop05: stopping datanode
hadoop06: stopping datanode
hadoop04: stopping datanode
Stopping journal nodes [hadoop04 hadoop05 hadoop06 hadoop07 hadoop08]
hadoop06: stopping journalnode
hadoop07: stopping journalnode
hadoop08: stopping journalnode
hadoop05: stopping journalnode
hadoop04: stopping journalnode
19/03/12 09:20:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Stopping ZK Failover Controllers on NN hosts [hadoop01 hadoop02]
hadoop01: stopping zkfc
hadoop02: stopping zkfc
stopping yarn daemons
stopping resourcemanager
hadoop06: stopping nodemanager
hadoop05: stopping nodemanager
hadoop07: stopping nodemanager
hadoop04: stopping nodemanager
hadoop08: stopping nodemanager
no proxyserver to stop
 

 

 

Hadoop Shell命令

Hadoop集群启动和停止方法
苍夜月明的博客
07-04 4985
    先看一下集群是怎么规划的，这样就知道哪个服务器该开哪个了，不能瞎开啊！    注意点：所有服务器的 HDFS 都有 DataNode，YARN 都有 NodeManagerResourceManager 很消耗内存，不能和 NameNode、SecondaryNameNode 配置在同一台机器上。（有钱人另说，电脑好啥都能干）NameNode和SecondaryNameNode不能在同一台服务器上          什么叫一起启动 / 停止呢？ 就是一下把hadoop102、hadoop103、ha
查看hadoop集群节点守护进程命令_Hadoop 启动/停止集群和节点的命令
weixin_39712705的博客
02-12 1467
一、集群1.启动/停止Hadoop集群：start-all.shstop-all.sh1) 启动NameNode, DataNode2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步3) 启动DFSZKFailoverController, HA会启用ZooKeeper Failo...
Elasticsearch——》命令：启动和停止
小仙~
09-14 6302
系统：Linux 版本：elasticesearch7.6 根目录：/opt/app/elasticesearch7.6 1、启动 1) 前台启动：bin/elasticsearch 2) 后台启动：bin/elasticsearch -d 2、停止 1) 前台停止：ctrl+c 2) 后台停止：kill -9 elasticsearch的进程号 ...
Hadoop集群搭建系列教程（八）—— 启动集群
最新发布
wyp106343873的博客
09-10 865
现在NameNode是HDFS需要用户在web界面上访问，不需要操作命令行，即也需要对外暴露一个接口hadoop102:9870。NameNode 和 SecondaryNameNode 和 ResourceManager 不要安装在同一台服务器。之前核心配置文件中NameNode地址hdfs://hadoop102:8020相当于是hadoop内部通讯地址，这三个都很消耗内存，所以最好分属不同服务器。该文件中添加的内容结尾不允许有空格。文件中不允许有空行。
hadoop的集群启动与关闭指令
Rain_2021245488的博客
07-29 1530
前面我们搭建好了集群，现在可以实现启动和关闭集群，实际上，启动集群就是在每台机子上启动相应的进程，这些进程我们通常称呼它们为角色，角色又有主从之分。我们要想使用集群，就必须得有这样的角色，就好比一个企业里的各种设施和配置都准备好了，得有员工才能工作，最终干活的肯定是这些员工（角色）。
Hadoop 高可用集群的启动与关闭命令
weixin_70816482的博客
11-08 3931
Hadoop 高可用集群的启动与关闭命令
hadoop常用的启动命令
热门推荐
li123456hkho的博客
03-08 2万+
本人三台节点：hadoop01，hadoop02，hadoop03（部署hive，mysql） 默认jdk，zookeeper，hadoop，hbase，kafka，flume，hue，spark #一.zookeeper启动 (QuorumPeerMain) 1.启动zookeeper 启动：bin/zkServer.sh start (单台节点启动命令) 关闭：bin/zkServer.sh stop (单台节点关闭命令) 查看：bin/zkSer...
关于我第二次遇到Hadoop启动集群子节点没有DataNode节点问题
m0_58676712的博客
07-21 3283
找一下HDFS的配置文件,我的在$HADOOP_HOME/etc/hadoop文件夹下，查看你的dfs.name.dir 和 dfs.data.dir 下的内容，也就是保存的路径在哪里，然后删掉文件夹下的data和name文件夹，重新启动集群。
Hadoop集群动态添加/删除节点
qq_53383349的博客
09-07 2961
一、准备新节点，命名为slave3 1、修改新节点的主机名 hostnamectl set-hostname slave3 bash 2、关闭防火墙 systemctl stop firewalld systemctl disable firewalld 二、安装JDK 1、创建工作目录 mkdir -p /usr/java 2、解压缩（安装包位于/usr/package） cd /usr/package tar -zxvf jdk1.8.0_221.tar.gz -C /usr/
hadoop集群关闭命令顺序_启动和关闭Hadoop集群命令步骤
weixin_42499919的博客
02-01 1685
启动和关闭Hadoop集群命令步骤总结：1. 在master上启动hadoop-daemon.sh start namenode.2. 在slave上启动hadoop-daemon.sh start datanode.3. 用jps指令观察执行结果.4. 用hdfs dfsadmin -report观察集群配置情况.5. 通过http://npfdev1:50070界面观察集群运行情况.(如果遇到...
hadoop集群一键启动、关闭
10-15
自己写的脚本，一键启动hadoop、hbase、zookeeper(几个zookeepler同时启动)、hive。另有一键关闭集群和一键关机功能
Hadoop启动关闭命令
RedStone618的博客
07-10 2948
注意：第一次启动集群之前需要格式化
Hadoop 停止和启动命令总结
cbb
08-30 2242
start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode stop-dfs.
Hadoop入门（十）：集群启动关闭的常见命令总结
全栈川川
08-28 4319
hadoop常见命令总结
Hadoop集群之HDFS和YARN启动和停止命令
qq_43688472的博客
12-27 1960
1.启动hdfs集群（使用hadoop的批量启动脚本） /root/apps/hadoop/sbin/start-dfs.sh 2.停止hdfs集群（使用hadoop的批量启动脚本） /root/apps/hadoop/sbin/stop-dfs.sh 3.启动单个进程 /root/apps/hadoop/sbin/hadoop-daemon.sh start 加上相应的名字 [root@h...
Hadoop集群启动和关闭脚本
BIPT919的博客
04-24 6248
文章目录Hadoop集群启动关闭脚本一、Hadoop集群启动脚本1.在cd $HADOOP_HOME路径下创建jiqunstart.sh文件。二、Hadoop集群关闭脚本1.同理在cd $HADOOP_HOME路径下创建jiqunstop.sh文件。三、运行两个脚本1.脚本运行成功后，打开50070查看集群是否启动成功2.可能遇到的问题 Hadoop集群启动关闭脚本 1.首先我们知道在启动Hadoop命令时，我们是 start-dfs.sh→start-yarn.sh →mr-jobhistory-da
hadoop的启动和停止命令
我是一块小石头
05-24 1317
sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/start-dfs.sh 启动Hadoop HDFS守护进程NameNode、Seconda
Hadoop基础命令
汐银的博客
11-09 377
hadoop fs -cmd  cmd: 具体的操作，基本上与UNIX的命令行相同  hadoop fs -mkdir /user/trunk (创建目录)  hadoop fs -ls /user (显示目录文件)  hadoop fs -lsr /user (递归的)  hadoop fs -put test.txt /user/trunk (复制文件到/user/trunk 目录下)  ha...
Hadoop+HBase+Kylin集群启动与停止操作指南
本文档详细介绍了如何在Hadoop、HBase和Kylin集群中进行启动和停止操作。首先，确保环境变量已设置，这对于管理和操作集群至关重要。启动和停止集群的顺序是先启动Zookeeper，因为它是分布式系统的协调服务，对于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值