CDH 大数据疑难解决一则

最新推荐文章于 2022-06-28 15:53:42 发布
最新推荐文章于 2022-06-28 15:53:42 发布
阅读量543 收藏
点赞数
分类专栏： Hadoop/Spark/Hive 杂类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rav009/article/details/83659041
版权

起因:  Hive查询变慢

观察: Cloudera Manager中某个Datanode报错, Health Chart每隔几分钟有红色不健康状态

观察日志: 在 /data/log/hadoop-hdfs/hadoop-cmf-hdfs-DATANODE-dw-slave01-te.uniqlo-test.cn.log.out 中发现大量日志警告, 带有"Force-closing" , 例如:

2018-11-02 16:30:53,837 WARN com.cloudera.io.netty.channel.AbstractChannel: Force-closing a channel whose registration task was not accepted by an event loop: [id: 0x3e3a2527, /172.16.17.76:36048 => /172.16.17.76:1006]

 

解决: 在 Cloudera Manager 的 该节点的 HDFS 的 configuraton 里 Java Heap Size, 调整回默认值1G

 

 

爱知菜
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
HDFS文件的健康检查
时光在路上
04-09 1574
文章来源：HDFS DataNode Scanners and Disk Checker Explained 以下只简单翻译部分文字，详情看英文原文。 简单的概念 一个文件包含多个block，一个block有一个或多个副本。 block存储在每台机器的磁盘上，并且包含个blk_xxx.meta信息，meta中包含crc校验信息等。 这篇文章为了解答以下问题 datanode什么时...
netty Force-closing a channel whose registration task was not accepted by an event loop问题
dfBeautifulLive的博客
04-07 4943
我这边第一次连接netty可以，但是关闭netty连接以后，再次使用连接就会报这个错，其实很简单的问题，但是一下子蒙住了，搞了半天，后来发现是全局变量的问题， 我把下面这两行代码放入了全局变量里，重启系统第一次连接没问题，关闭连接第二次开启连接就出现报错Force-closing a channel whose registration task was not accepted by an event loop 连接不上。 EventLoopGroup parentGroup = new Nio.
netty报错Force-closing a channel whose registration task was not accepted by an event loop处理办法
weixin_44601714的博客
08-22 9885
使用netty搭建机器间通信客户端时，报了如下错误 08-21 17:27:55 [ WARN] [http-nio-8081-exec-379] Force-closing a channel whose registration task was not accepted by an event loop: [id: 0x2e20a0eb] java.util.concurrent.Rejec...
Netty(二)
a919119690的博客
08-14 346
Netty源码分析 先来一段测试的服务端和客户端代码方便我们debug跟踪源码(用的是netty-all-4.1.42版本) Netty-Server public class NettyServer { public static void main(String[] args) throws InterruptedException { EventLoopGroup parentGroup = new NioEventLoopGroup(); EventL
【已解决】Springboot服务 Netty启动报错Failed to submit a listener
路遥知码力的博客
03-15 4507
【已解决】Springboot服务 Netty启动报错Failed to submit a listener Force-closing a channel whose registration task was not accepted by an event loop: [id: 0xb77c8a77] 2021-03-12 18:23:38.984 ERROR 13052 --- [ main] i.n.u.c.D.rejectedExecution :
Netty(三十八) - Netty请求过程源码剖析
yangxshn的博客
03-20 268
一、基本说明 1）、服务器启动后肯定是要接收客户端请求并返回客户端想要的信息，Netty 在启动后是如何接收客户端请求的？ 2）、源码包：io.netty.example 二、请求过程源码剖析 1）、从服务器启动源码中，可以得知，服务器最终注册了一个 Accept 事件等待客户端的连接。我们也知道，NioServerSocketChannel 将自己注册到了 boss 单例线程池（reactor线程）上，也就是 EventLoop。 2）、EventLoop 的作用是一个死循环，在这个死循环中要处理三件事：
CDH大数据环境优化.docx
08-03
在CDH大数据环境中，优化是确保高效运行的关键。本文主要关注数据块优化、集群资源配置以及重要服务如Cloudera Management Service、Zookeeper和HDFS的调整。 首先，数据块优化是提升HDFS性能的重要环节。文件在...
CDH大数据平台部署详细步骤（从零开始）
08-09
在本教程中，我们将深入探讨如何从零开始部署CDH（Cloudera Data Hub）大数据平台，这包括了虚拟机的准备、环境配置、CDH组件的安装以及Jupyter和Spark的集成。以下是对每个步骤的详细说明： 一、虚拟机准备与安装 ...
CDH大数据展现方案.pptx
10-14
《CDH大数据展现方案》是Cloudera提供的一种全面的大数据管理和分析解决方案，旨在帮助企业构建高效、安全的数据平台，最大化数据的价值。此方案的核心在于Cloudera Enterprise Data Hub，它是一个集成了多种技术和...
大数据cdh组件
02-05
大数据CDH组件是Cloudera Distribution Including Apache Hadoop（CDH）的核心组成部分，它是一个全面、经过企业级优化的大数据处理平台。CDH是基于Apache Hadoop生态系统，旨在提供一个集成化、统一的环境，方便...
CDH大数据平台部署安装（详细）
最新发布
06-12
本手册非常适合初学者，按照步骤来绝对没毛病。后续有功能我会继续完善，也请各位多多指教。
netty源码系列---服务端启动
heihei1314A的博客
06-21 257
1、示例代码 这是netty源码中官方提供的测试代码 public final class EchoServer { static final boolean SSL = System.getProperty("ssl") != null; static final int PORT = Integer.parseInt(System.getProperty("port", "8007")); public static void main(String[] args) t
Netty Deployment Note
Derek_Zhang_的专栏
11-12 7707
1. Background 我们的netty application是在windows 7下的Eclipse Luna开发的，用到了spring 4和hibernate 4，JDK是1.7 2. Packaging 打包是直接在Eclipse里面export -> jar -> executable jar，然后选择main class和包路径，easy! 3. Deployment 3
Netty源码分析-客户端启动流程
G-Lawliet的博客
05-14 224
上接Netty源码分析之服务端启动流程，本节看下客户端启动的流程。public class Client { private static final Logger LOGGER = LoggerFactory.getLogger(Client.class); private static String host = "127.0.0.1"; private static ...
Netty-原理篇(Future&Promise)
S1124654的博客
06-28 919
Future&Promise
Netty源码解析之ServerSocketChannel register流程
0xZzzz的博客
06-11 2677
阅读须知 Netty版本：4.1.14.Final 文章中使用/**/注释的方法会做深入分析 正文 我们在分析Bootstrap引导启动的源码时看到了Channel的注册，但是并没有做深入分析，本篇文章我们就来看一下Channel的注册流程。Channel的注册委托给了Channel内部的Unsafe来完成，我们来看实现： AbstractChannel.AbstractUnsafe...
Netty源码分析之管道处理器
07-05 279
添加管道处理器，可以指定对应的线程组来单独处理该处理器 public final ChannelPipeline addLast(ChannelHandler... handlers) { return addLast(null, handlers); } public final ChannelPipeline addLast(EventExecutorGroup executo...
netty系列三：服务启动流程源码分析
亚瑟的守护的专栏
05-08 199
目录 服务启动流程 1.1、创建服务端Channel 1.2、初始化服务端Channel 1.3、注册selector 1.4、绑定端口 服务启动流程 典型的服务端启动代码，我们的分析从这里开始 // netty 服务端启动 public void runServer() throws Exception{ // 用来接收进来的连接 EventLoopGroup bossGroup = new NioEventLoopGroup(1); // 用来处理.
Netty ServerBootstrap bind和acceptor 事件源代码剖析
sunning9001的专栏
03-27 935
流程1 ：在ServerBootstrap(AbstractBootstrap<B,C>).bind(int) 绑定端口。1、ServerBootstrap(AbstractBootstrap<B,C>).initAndRegister()   创建一个ServerSocketChannel ,并注册到EventLoop中。 在init时,主要通过工厂方法创建一个Serve...
cdh大数据运维pdf
12-12
总之，CDH大数据运维是一个综合性的工作，需要对分布式数据平台进行部署、配置、资源管理、备份恢复和性能优化等方面的工作。它的目标是确保集群的稳定运行，保障数据的安全性和可用性，提高数据处理的效率和性能。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱知菜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值