有关k8s中部署hadoop出现的特殊问题

最新推荐文章于 2023-03-11 23:10:23 发布

华网动视

最新推荐文章于 2023-03-11 23:10:23 发布

阅读量1.2k

点赞数

文章标签： hadoop 大数据 big data

本文链接：https://blog.csdn.net/u012185804/article/details/121136202

版权

WARN datanode.DataNode: Problem connecting to server: namenode:8020

出现此处类似的问题，说明Datanode 缓存 namenode DNS 查找失败并且无法启动

如果 DataNode 启动而 NameNode 主机甚至无法在 DNS 中解析，则 DataNode 不会尝试重新解析。我提供了一个补丁，可以将 DNS 解析移动到连接重试循环中。

目前hadoop还未修复这个问题，将在3.4.0, 3.3.2, 3.2.4的版本中修复。

最新版本出来后，我会更新此贴。

如果你们急需修复，可以通过修改源码的方式修正bug。

具体更改内容，请参考https://github.com/apache/hadoop/pull/3348/commits/c8d5b06ff8c2e7629d0bdf5713b7cf35f87bdad6https://github.com/apache/hadoop/pull/3348/commits/c8d5b06ff8c2e7629d0bdf5713b7cf35f87bdad6

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

华网动视

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

基于Kubernetes平台部署Hadoop实践.docx

10-14

基于Kubernetes平台部署Hadoop实践.docx

Hadoop运行在Kubernetes平台实践

weixin_34232363的博客

12-17

375

2019独角兽企业重金招聘Python工程师标准>>> ...

参与评论您还未登录，请先登录后发表或查看评论

CDH集群下DataNode与NameNode通信失败问题——because the host is not in the include-list

weixin_42578941的博客

05-18

1354

CDH集群下DataNode与NameNode通信失败问题——because the host is not in the include-list

Hadoop DataNode 无法连接到主机NameNode

我爱小小

06-03

5653

搭建hadoop 完全分布式，踩过的坑；其中一个坑，就是slave节点，不能够连接到master；第一个：提示无法注册到master 主机：查看DataNode 可知是不是这个问题；在查看日志的时候，发现是知道master IP；端口和IP都是对的；就一直没往配置主机的方面想；结果发现错在配置；这个问题是在配置文件 core-site.xml: fs.

千云物流- hadoop集群部署

Hello Word

06-03

598

准备hadoop镜像具体参考 https://blog.csdn.net/qq_45744501/article/details/112175428 这里已经打包好部署的镜像了 docker pull janle88/hadoop:latest 部署hadoop到k8s上 ConfigMap 这里不要使用ip,避免datanode连不上namenode，下边的配置有一个ConfigMap yanl配置配置数量配置明细 ConfigMap 1 kube-hadoop-conf Se

在Kubernetes上部署Hadoop

迷途的攻城狮

09-06

1万+

在Kubernetes上部署Hadoop 思路：基于Hadoop集群中所有节点使用一致的配置文件考虑，建立支持ReadWriteMany的PVC挂载到POD内用来存放Hadoop配置文件（一份配置文件在所有POD之间共享）。使用StatefulSet部署，保证稳定的网络环境，各个POD启动时，首先根据网络环境动态修改配置文件内容。启动Hadoop集群时，不使用...

k8s部署hadoop集群，一键部署资源包

02-13

k8s部署hadoop集群，一键部署资源包

云计算Hadoop：快速部署Hadoop集群

07-23

资源名称：云计算Hadoop：快速部署Hadoop集群内容简介：近来云计算越来越热门了，云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源，并按使用量付费。可以...

【云原生】Hadoop HA on k8s 环境部署

因上努力，果上随缘。但行好事，莫问前程。

10-19

1481

在 Hadoop 2.0.0 之前，一个集群只有一个Namenode，这将面临单点故障问题。如果 Namenode 机器挂掉了，整个集群就用不了了。只有重启 Namenode ，才能恢复集群。另外正常计划维护集群的时候，还必须先停用整个集群，这样没办法达到 7 * 24小时可用状态。Hadoop 2.0 及之后版本增加了 Namenode 高可用机制，这里主要讲Hadoop HA on k8s 环境部署。HDFSYARN。

datanode无法连接namenode问题解决

qq_39122919的博客

11-17

3807

作为一个hadoop的初学者，hd最近在一直在踩坑，好不容易把网络配置好了，结果在datanode连接中又挂了 hdfs-site.xml的配置为 core-site.xml的配置为丛机（hdp-02）启动jps后发现在/usr./lHadoop/hadoop-2.8.3/hdpdata/data文件夹下没有生成current文件夹再看一下log文件，发现无法连接到name...

CDH6.3.0 报错汇总

热门推荐

刘李404not_found的博客

08-22

1万+

报错一、 Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。解决方案临时生效： sysctl vm.swappiness=...

那些安装CDH集群过程中踩过的坑......（比较全）

weixin_30764883的博客

10-12

691

一、登录Cloudera Manager (http://192.168.201.128:7180/cmf/login)时，无法访问web页面　　针对此问题网上有较多的解决方案（e.g. https://www.cnblogs.com/zlslch/p/7078119.html)，如果还不能解决你的问题，请看下面的解决方案。　　登录MySQL数据库（或利用Navicat），会发...

k8s中Pod 无法正常解析域名：部署 DNS 调试工具排查

大数据

03-11

3505

k8s中Pod 无法正常解析域名：部署 DNS 调试工具排查

hadoop fs -put上传文件失败，WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to ser...

朕蹲厕唱忐忑的博客

12-27

1615

hadoop fs -put上传文件失败，WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: master:8020 hadoop fs -put上传文件失败报错信息：（test文件夹是已经成功建好的） [root@master ...

datanode无法连接到namenode

aoli2193的博客

08-24

853

datanode无法连接到namenode namenode在清空hadoop.tmp.dir和namenode.dir文件夹重新格式化后，datanode还是无法连接到namenode并报错： hdfs.server.datanode.DataNode: Problem connecting to server: ligfoo/192.168.80.11:9000 datanod...

k8s kafka集群连接不上_k8s部署Kafka集群

weixin_33557333的博客

01-11

587

前言本次的目的是通过使用k8s搭建一个三节点的kafka集群，因为kafka集群需要用到存储，所以我们需要准备三个持久卷(Persistent Volume) 简称就是PV。创建zk-pv首先通过nfs创建三个共享目录mkdir -p /data/share/pv/{kafka01,kafka02,kafka03}分别对应三节点zk集群中的三个pod的持久化目录，创建好目录之后编写yaml创建ka...

hadoop 异常

09-20

162

2019-09-20 22:49:51,955 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: s129/192.168.248.129:8020 可能防火墙没有关闭注意检查防火墙状态或者是防火墙没有配置8020端口转载于:https://www.cnblog...

k8s 部署hadoop