hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比

最新推荐文章于 2022-04-19 14:48:56 发布
最新推荐文章于 2022-04-19 14:48:56 发布
阅读量292 收藏
点赞数
分类专栏： hadoop 文章标签： 集群 hadoop 超人学院 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/crxy2014/article/details/51791234
版权

今天修改了hadoop集群的配置文件而需要重启集群，但是却报错如下：

<code class="hljs vbscript" style="display: block; padding: 0.5em; background: rgb(255, 255, 255);">[hadoop@master ~]# <span class="hljs-keyword" style="color: rgb(0, 0, 136);">stop</span>-dfs.sh
Stopping namenodes <span class="hljs-keyword" style="color: rgb(0, 0, 136);">on</span> [master]
master1: no namenode <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">stop</span>
master2: no namenode <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">stop</span>
slave2: no datanode <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">stop</span>
slave1: no datanode <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">stop</span></code>


问题的原因是hadoop在stop的时候依据的是datanode上的journalnode和dfs的pid。而默认的进程号保存在/tmp下，linux 默认会每隔一段时间（一般是一个月或者7天左右）去删除这个目录下的文件。

因此删掉hadoop-hadoop-journalnode.pid和hadoop-hadoop-datanode.pid两个文件后，namenode自然就找不到datanode上的这两个进程了。

在配置文件hadoop_env.sh中配置export HADOOP_PID_DIR可以解决这个问题, 也可以在hadoop-deamon.sh中修改，它会调用hadoop_env.sh。修改HADOOP_PID_DIR的路径为“/var/hadoop_pid”，记得手动在“/var”目录下创建hadoop_pid文件夹并将owner权限分配给hadoop用户。

<code class="hljs scala" style="display: block; padding: 0.5em; background: rgb(255, 255, 255);">[hadoop<span class="hljs-meta">@slave</span>3 ~]$ ls /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">var</span>/hadoop_pid/
hadoop-hadoop-datanode.pid  hadoop-hadoop-journalnode.pid</code>

然后手动在出错的Slave上杀死Datanode的进程(kill -9 pid)，再重新运行start-dfs..sh时发现没有“no datanode to stop”和“no namenode to stop”的出现，问题解决。

<code class="hljs sql" style="display: block; padding: 0.5em; font-size: 15px; line-height: 35px; background: rgb(255, 255, 255);">[hadoop@master1 ~]$ <span class="hljs-keyword" style="color: rgb(0, 0, 136);">start</span>-dfs.sh
<span class="hljs-number" style="color: rgb(0, 102, 102);">16</span>/<span class="hljs-number" style="color: rgb(0, 102, 102);">04</span>/<span class="hljs-number" style="color: rgb(0, 102, 102);">13</span> <span class="hljs-number" style="color: rgb(0, 102, 102);">17</span>:<span class="hljs-number" style="color: rgb(0, 102, 102);">20</span>:<span class="hljs-number" style="color: rgb(0, 102, 102);">26</span> WARN util.NativeCodeLoader: Unable <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">load</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">native</span>-hadoop <span class="hljs-keyword" style="color: rgb(0, 0, 136);">library</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">for</span> your platform... <span class="hljs-keyword" style="color: rgb(0, 0, 136);">using</span> builtin-<span class="hljs-keyword" style="color: rgb(0, 0, 136);">java</span> classes <span class="hljs-keyword" style="color: rgb(0, 0, 136);">where</span> applicable
<span class="hljs-keyword" style="color: rgb(0, 0, 136);">Starting</span> namenodes <span class="hljs-keyword" style="color: rgb(0, 0, 136);">on</span> [master1 master2]
master1: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> namenode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-namenode-master1.out
master2: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> namenode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-namenode-master2.out
slave4: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> datanode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-datanode-slave4.out
slave3: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> datanode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-datanode-slave3.out
slave2: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> datanode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-datanode-slave2.out
slave1: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> datanode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-datanode-slave1.out
<span class="hljs-keyword" style="color: rgb(0, 0, 136);">Starting</span> journal nodes [master1 master2 slave1 slave2 slave3]
slave3: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> journalnode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-journalnode-slave3.out
master1: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> journalnode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-journalnode-master1.out
slave1: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> journalnode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-journalnode-slave1.out
master2: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> journalnode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-journalnode-master2.out
slave2: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> journalnode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-journalnode-slave2.out
<span class="hljs-number" style="color: rgb(0, 102, 102);">16</span>/<span class="hljs-number" style="color: rgb(0, 102, 102);">04</span>/<span class="hljs-number" style="color: rgb(0, 102, 102);">13</span> <span class="hljs-number" style="color: rgb(0, 102, 102);">17</span>:<span class="hljs-number" style="color: rgb(0, 102, 102);">20</span>:<span class="hljs-number" style="color: rgb(0, 102, 102);">40</span> WARN util.NativeCodeLoader: Unable <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">load</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">native</span>-hadoop <span class="hljs-keyword" style="color: rgb(0, 0, 136);">library</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">for</span> your platform... <span class="hljs-keyword" style="color: rgb(0, 0, 136);">using</span> builtin-<span class="hljs-keyword" style="color: rgb(0, 0, 136);">java</span> classes <span class="hljs-keyword" style="color: rgb(0, 0, 136);">where</span> applicable
<span class="hljs-keyword" style="color: rgb(0, 0, 136);">Starting</span> ZK <span class="hljs-keyword" style="color: rgb(0, 0, 136);">Failover</span> Controllers <span class="hljs-keyword" style="color: rgb(0, 0, 136);">on</span> NN <span class="hljs-keyword" style="color: rgb(0, 0, 136);">hosts</span> [master1 master2]
master1: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> zkfc, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-zkfc-master1.out
master2: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> zkfc, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-zkfc-master2.out</code><p style="margin-top: 0px; margin-bottom: 0px; padding-top: 0px; padding-bottom: 0px; color: rgb(85, 85, 85); font-size: 15px; line-height: 35px; background-color: rgb(255, 255, 255);">
</p>
超人学院-CRXY
关注
专栏目录
大数据-玩转数据-Hadoop 2.x常用端口及查看方法
s_unbo的博客
12-20 1559
大数据-玩转数据-Hadoop 2.x常用端口及查看方法 一、常用端口 组件 节点 默认端口 配置 用途 说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS DataNode 50475 dfs.datanode.https.address https服
Hadoop默认端口说明
热门推荐
zzhongcy的专栏
02-25 1万+
Hadoop默认端口说明 Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。 组件 D
hadoop3.x\2.x常用端口,和常用配置文件
市民景先生
04-19 3423
常用端口号 hadoop3.x HDFS NameNode 内部通常端口：8020/9000/9820 HDFS NameNode 对用户的查询端口：9870 Yarn查看任务运行情况：8088 历史服务器：19888 hadoop2.x HDFS NameNode 内部通常端口：8020/9000 HDFS NameNode 对用户的查询端口：50070 Yarn查看任务运行情况：8088 历史服务器：19888 常用配置文件 3.x core-site.xml...
hadoop 3.x常用端口
web13985085406的博客
04-03 2677
分类 应用 端口 namenode rpc-address 8020 namenode http-address 9870 namenode https-address 9871 datanode address 9866 datanode http-address 9864 datanode https-address 9865 resourcemanager http-address 8088
hadoop2.x常用端口及定义方法
Dustin_CDS的博客
02-09 6266
端口 Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper: 组件 节点 默认端口 配置 用途说明 H
Hadoop2.x与Hadoop3.x的默认端口变化
Markble
09-23 6089
Namenode 端口: 2.x端口 3.x端口 name desc 50470 9871 dfs.namenode.https-address The namenode secure http server address and port. 50070 9870 dfs.namenode.http-address The address and the base port where the dfs namenode web ui will
Hadoop 3.X 和 2.X 的常用端口号和配置文件
hmyqwe的博客
05-26 1万+
Hadoop 常用端口号 Hadoop 3.X HDFS NameNode 内部通信端口：8020/9000/9820 HDFS NameNode HTTP UI：9870 Yarn 查看任务执行端口：8088 历史服务器通信端口：19888 Hadoop 2.X HDFS NameNode 内部通信端口：8020/9000 HDFS NameNode HTTP UI：50070 Yarn 查看任务执行端口：8088 历史服务器通信端口：19888 Hadoop 常用配置文件 Hadoop 3.X
hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比（转）
雲的博客
07-24 684
hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比 问题导读： 1.DataNode的http服务的端口、ipc服务的端口分别是哪个？ 2.NameNode的http服务的端口、ipc服务的端口分别是哪个？ 3.journalnode的http服务的端口、ipc服务的端口分别是哪个？ 4.ResourceManager的http
Hadoop 2.x与3.x 22点比较,Hadoop 3.x比2.x的改进
09-30
7. 端口范围：Hadoop 2.x中的一些默认端口位于Linux临时端口范围内，这可能会在启动时导致绑定问题。Hadoop 3.x已经解决了这个问题，端口不再位于短暂的范围内。 8. 工具兼容性：Hadoop 3.x兼容所有Hadoop 2.x支持...
Hadoop2.x HA环境搭建
12-09
### Hadoop2.x HA环境搭建知识点详解 #### 一、HA2.0集群搭建与测试 **准备工作：** 1. **停掉之前的服务：** - 在搭建Hadoop2.x HA集群之前，需要确保所有相关的服务都已经停止运行，避免与新搭建的集群产生...
Hadoop3.x系统文档
03-23
文档中对于Hadoop 3.x常用配置与Hadoop 2.x的对比，提供了一系列常见配置项的解释，例如： - 如何指定Hadoop临时路径，这关系到Hadoop执行过程中临时文件的存放。 - dfs.blocksize可以使用的单位，文件块大小是HDFS...
Hadoop源码分析之NameNode的目录构成与类继承结构
06-30 979
与DataNode节点类似，NameNode节点也有自己的目录和类继承结构，但是NameNode节点的目录结构比DataNode节点就简单多了，下面就来简单分析NameNode节点的目录构成与类继承结构。 NameNode的目录构成 在NameNode节点运行时，维护着整个HDFS中的文件及目录信息，如果NameNode出现故障，如掉电或进程崩溃，那么内存中的信息将全部丢失，因此必须将内存
Hadoop中MR程序的几种提交运行模式
07-04 383
1：在Windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行 ----输入输出数据可以放在本地路径下（c:/wc/srcdata/） ----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata) 2：在Linux的eclipse里面直接运行main方法，但是不要添加ya
从Hadoop URL中读取数据
07-08 322
要从Hadoop文件系统中读取文件，一个最简单的方法是使用java.net.URL对象来打开一个数据流，从而从中读取数据。一般的格式如下： 1.    InputStream in = null;   2. try {   3.     in = new URL("hdfs://host/path").openStream();   4.     // process in   5. }
Ruby语言
07-14 296
例2-8中的map函数是用ruby来写的。 例2-8：用于查找最高气温的map函数(ruby版) 1. #!/usr/bin/env ruby   2.   3. STDIN.each_line do |line|   4.  val = line  5.  year, temp, q = val[15,4], val[87,5], val[92,1]   6.  puts "#{y
重启Hadoop集群时no namenode to stop的异常
06-30 259
今天修改了hadoop集群的配置文件而需要重启集群，但是却报错如下： [hadoop@master ~]# stop-dfs.sh Stopping namenodes on [master] master1: no namenode to stop master2: no namenode to stop slave2: no datanode to stop slave1: no dat
Hadoop2.x端口详解：Namenode与YARN组件功能及配置
本文主要介绍了Hadoop环境中的关键端口配置以及Hadoop2.x的主要组件和功能。首先，我们关注的是Hadoop的端口，包括： 1. Namenode的常用端口： - 9000：这是namenode的服务端口，通常用于内部通信。 - 8020：RPC...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值