Hadoop的启动和停止说明

最新推荐文章于 2023-06-12 22:43:39 发布
最新推荐文章于 2023-06-12 22:43:39 发布
阅读量3.9k 收藏 16
点赞数 3
文章标签： 大数据
原文链接：http://www.cnblogs.com/xym4869/p/8821312.html
版权

sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager

sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager

sbin/start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode、DataNode

sbin/stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode

sbin/hadoop-daemons.sh start namenode 单独启动NameNode守护进程

sbin/hadoop-daemons.sh stop namenode 单独停止NameNode守护进程

sbin/hadoop-daemons.sh start datanode 单独启动DataNode守护进程

sbin/hadoop-daemons.sh stop datanode 单独停止DataNode守护进程

sbin/hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程

sbin/hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程

sbin/start-yarn.sh 启动ResourceManager、NodeManager

sbin/stop-yarn.sh 停止ResourceManager、NodeManager

sbin/yarn-daemon.sh start resourcemanager 单独启动ResourceManager

sbin/yarn-daemons.sh start nodemanager  单独启动NodeManager

sbin/yarn-daemon.sh stop resourcemanager 单独停止ResourceManager

sbin/yarn-daemons.sh stopnodemanager  单独停止NodeManager

 

sbin/mr-jobhistory-daemon.sh start historyserver 手动启动jobhistory

sbin/mr-jobhistory-daemon.sh stop historyserver 手动停止jobhistory

转载于:https://www.cnblogs.com/xym4869/p/8821312.html

aabb7654321
关注
  • 3
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
虚拟机伪分布式安装hadoop的配置
12-23
完成上述步骤后，你就可以在虚拟机上启动Hadoop的伪分布式模式，体验和理解Hadoop的分布式计算原理和操作流程了。这不仅有利于学习，也是测试和调试Hadoop应用的有效手段。记得在启动Hadoop之前，根据需要可能还需要...
Hadoop环境搭建过程中遇到的问题及解决方法
10-16
当使用`start-all.sh`启动Hadoop时，如果需要输入slave主机的密码，说明SSH配置存在问题。解决这个问题的步骤包括： - 验证`.ssh`目录下是否存在`authorized_keys`、`id_rsa`和`id_rsa.pub`文件。 - 如果缺少这些...
Hadoop集群的启动
weixin_44943389的博客
09-30 6962
在首次启动Hadoop之前还需要进行一些配置工作我们是在Linux集群上安装Hadoop集群。
Hadoop集群启动命令（包括hdfs,Mysql,zookeeper,hive,hbase,spark,zookeeper,kafka）
热门推荐
Nurbiya_K的博客
08-26 1万+
hadoop : 格式化命令 : hadoop namenode -format 启动命令 : start-all.sh 停止命令 : stop-all.sh Hdfs :(其实就是打开hadoop 先进入Hadoop目录，再执行以下命令：) 启动命令 : start-dfs.sh 停止命令: stop-dfs.sh yarn: 启动命令: start...
Hadoop集群部署和启动与关闭
最新发布
想你依然心痛的博客
06-12 3万+
为了提高Hadoop集群的高可用性，集群中至少需要两个NameNode节点（一个主节点，一个备用节点）和两个ResourceManager节点 (一个主节点，一个备用节点)以满足HDFS和YARN的高可用性，同时为了满足“过半写入则成功”的原则，集群中至少需要三个 JournalNode节点。在虚拟机Spark01中的NameNode主节点执行初始化命令后，需要将元数据目录的内容复制到其他未格式化的 NameNode备用节点（虚拟机Spark02）上，确保主节点和备用节点的NameNode数据一致。
大数据MapReduce常用操作
赵广陆
04-10 436
目录1 MapReduce之任务日志查看2 停止Hadoop集群中的任务3 MapReduce程序扩展 1 MapReduce之任务日志查看 如果想要查看mapreduce任务执行过程产生的日志信息怎么办呢？ 是不是在提交任务的时候直接在这个控制台上就能看到了？先不要着急，我们先在代码中增加一些日志信息，在实际工作中做调试的时候这个也是很有必要的 在自定义mapper类的map函数中增加一个输出，将k1,v1的值打印出来 @Override protected void map(Lon
Linux重启Hadoop集群命令
张俊杰 的博客
01-05 8222
命令: sh $HADOOP_HOME/sbin/start-all.sh 注意 重启hadoop，此时hadoop的相关进程正常启动 , 启动NameNode ,DataNode NodeManager 都会启动 启动完了建议自己自行查看一下,是否有的进程需要,如果不需要看看自己手动杀死 ...
Hadoop从入门到上手企业开发
07-15
001 Linux系统基本知识说明和启动Linux虚拟机 002 配置虚拟机IP地址和如何使用远程工具SecureCRT 003 Linux 环境下基本命令使用及Linux系统中文件的类型和权限 004 Linux 环境下基本命令讲解二 005 Linux 系统远程...
hadoop大数据课件-实验说明.pptx
07-12
Hadoop大数据实验指导是关于Hadoop大数据处理的实验说明，涵盖了Linux操作指导、Vi/VIM命令指导、Eclipse使用指导等多方面的内容。通过本实验指导，读者可以学习Hadoop大数据处理的基本概念和操作步骤。 Linux操作...
Hadoop入门实战手册
08-22
4.5 ..................................................................................15 初始化和启动hadoop集群 4.5.1 .....................................................................................
Hadoop入门（十）：集群启动关闭的常见命令总结
全栈川川
08-28 4223
hadoop常见命令总结
VM虚拟机中HDFS 命令
qq_52721612的博客
02-08 1773
VM虚拟机中HDFS 命令
mapperreduce流程和各种启动命令
Taoxiaoku的博客
09-13 944
20200911： 1mapreduce流程 (job在这开始了)–>TaskTracker–>map/reduce task resoucemanager-- >app master–>container scheduler spilt–>map–>combiner聚合–>partioner分区–>reducer–>resoucemanager 分为map reduce 接收客户端job请求 执行map reduce 返回心跳 map输出到redu
hadoop hdfs+mapReduce基本使用命令
鑫鑫23的博客
12-07 1804
1,列出hadoop shell所有支持的命令. [hdfs@nx-1 root]$ hadoop fs –help2,显示关于某个命令的详细信息. [hdfs@nx-1 root]$ hadoop fs -help ls(command-name)3,格式化一个新的分布式文件系统 [hdfs@nx-1 root]$ hadoop namenode –format4,查看hdf
使用命令行执行MapReduce
张波的技术积累
01-01 4210
package com.ccse.hadoop.cmd; import java.io.IOException; import java.net.URI; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured;
Hadoop学习笔记—4.初识MapReduce
deguotiantang的专栏
02-28 4071
一、神马是高大上的MapReduce 　　MapReduce是Google的一项重要技术，它首先是一个编程模型，用以进行大数据量的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。但对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapReduce就是一种简化并行计算的编程模型，它使得那些没有多有多少并行计算经验的开发人员也可以开发并行应用程序。这也就是MapReduc
Ubuntu系统下的Hadoop集群（2）_使用命令行编译打包运行自己的MapReduce程序
wang_zhenwei的博客
08-12 2475
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.4.1 网上的MapReduce WordCount教程对于如何编译WordCount.java几乎是一笔带过… 而有写到的，大多又是 0.20 等旧版本版本的做法，即 javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar Word
四、hdfs命令简单使用和mapreduce例子测试
花言简
05-02 878
1、hdfs使用$ hdfs dfs -ls / # 查看hdfs文件系统中根目录$ hdfs dfs -mkdir /wc/input # 在根目录下创建一个目录wc    # 上传文件到hdfs文件系统中$ hadoop fs /usr/local/hadoop-2.9.0/etc/hadoop/*.xml /wc/input2、mapreduce例子运行运行测试例子：$ cd  /usr/l...
对hadoop3.1.3的搭建详细说明
05-31
好的，下面我会为您详细介绍一下如何搭建hadoop3.1.3： 1.准备工作： 安装jdk1.8或以上版本，配置好环境变量。 2.下载hadoop3.1.3： 从官网（https://hadoop.apache.org/releases.html）下载hadoop-3.1.3.tar.gz文件，解压到任意目录。 3.配置hadoop： a.修改hadoop-env.sh文件： 修改JAVA_HOME为JDK的安装路径： export JAVA_HOME=/usr/local/java/jdk1.8.0_131 b.修改core-site.xml文件： 添加以下内容： <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> </configuration> c.修改hdfs-site.xml文件： 添加以下内容： <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/dfs/data</value> </property> </configuration> d.修改mapred-site.xml.template文件： 将文件名改为mapred-site.xml： mv mapred-site.xml.template mapred-site.xml 添加以下内容： <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> e.修改yarn-site.xml文件： 添加以下内容： <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> <property> <name>yarn.nodemanager.local-dirs</name> <value>/usr/local/hadoop/yarn_local</value> </property> <property> <name>yarn.nodemanager.log-dirs</name> <value>/usr/local/hadoop/yarn_log</value> </property> </configuration> f.将hadoop拷贝到指定目录： 将解压后的hadoop文件夹拷贝到/usr/local/目录下。 4.启动hadoop： a.格式化namenode： cd /usr/local/hadoop/bin ./hdfs namenode -format b.启动hadoop： ./start-all.sh c.查看启动状态： jps 如果能看到以下进程，则说明hadoop已经启动成功： NameNode SecondaryNameNode DataNode ResourceManager NodeManager 5.测试hadoop： a.创建文件夹： ./hdfs dfs -mkdir /test b.上传文件： ./hdfs dfs -put /usr/local/hadoop/LICENSE.txt /test/ c.查看文件： ./hdfs dfs -ls /test d.下载文件： ./hdfs dfs -get /test/LICENSE.txt /usr/local/hadoop/ e.删除文件： ./hdfs dfs -rm /test/LICENSE.txt f.停止hadoop： ./stop-all.sh 以上就是hadoop3.1.3的搭建详细说明，希望对您有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值