控制器发生异常 eofexception_0599-5.14.4-HDFS出现大量BrokenPipe异常处理

最新推荐文章于 2023-12-07 10:57:16 发布
最新推荐文章于 2023-12-07 10:57:16 发布 · 1.2k 阅读 · 1
文章标签：

#控制器发生异常 eofexception

本文详细记录了HDFS DataNode节点出现大量'Broken Pipe'异常的故障分析和处理过程。从平台层面、网络层面、系统层面逐一排查，包括NameNode GC问题、内存使用、TCP内核参数、网络配置、系统语言环境等。最终，通过将系统语言环境更改为英文解决了问题。

作者：李继武&陶攀龙

1.故障描述

在HBase和Hive集群中HDFS的DataNode节点均有大量的异常日志，详细日志信息如下：

2019-02-25 17:02:02,153 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: BlockSender.sendChunks() exception: java.io.IOException: 断开的管道 at sun.nio.ch.FileChannelImpl.transferTo0(Native Method) at sun.nio.ch.FileChannelImpl.transferToDirectlyInternal(FileChannelImpl.java:416) at sun.nio.ch.FileChannelImpl.transferToDirectly(FileChannelImpl.java:481) at sun.nio.ch.FileChannelImpl.transferTo(FileChannelImpl.java:596) at org.apache.hadoop.net.SocketOutputStream.transferToFully(SocketOutputStream.java:223)...
922f8ed0d0983b427cf0868bbc9675ec.png

主要以Hive集群分析为主，该集群中有hive01和hive02两个节点即是管理节点也是数据节点，这两个节点上出现了大量的“Broken Pipe”异常日志

9087bfe9af9c070b05a08494946b1bbd.png
64c38be532a09f124e32c0d838ee34b6.png

2.故障分析阶段(平台层面)

通过提供给Cloudera售后的HDFS日志、lsof日志以及其它搜集的日志，在初步分析后反应出来的现象HBase出现性能问题是由于底层的HDFS不稳定导致。在HDFS的DataNode节点有大量的“Broken Pipe”异常，由于大量的Broken Pipe导致DataNode读写Block时重试从而导致基于HDFS的HBase等应用会出现性能下降的问题。

售后提出协调系统管理员分析系统层面的问题，在OS层面与旧集群未做任何变动，系统的参数及Hadoop的基本运行环境均与旧集群一致。

1. 通过分析Hive集群发现 NameNode GC频繁且耗时，如下图所示

a4bb4c75a2d12a9cc0a2413ebd2edbc7.png

将NameNode的Java heap大小从6GB调整至10GB

bff03f99941e7865c8310cf8c8116860.png

增加NameNode的Heap大小后通过jstat命令和CM监控界面进行监控，看到NameNo

最低0.47元/天 解锁文章
Debezium报错处理系列十三：Caused by: java.io.EOFException
zhengzaifeidelushang的博客
04-13 1899
{ "id":0, "state":"FAILED", "worker_id":"p-qcbj6-dd-hadoop-debezium-001.prod-qcloud-dd-insight.net:8083", "trace":"org.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event producer. This connector will be.
websocket自动断开连接,并抛出EOFException异常
weixin_43529116的博客
12-05 6860
项目要做一个后台消息发送，在测试过程中,发现每隔1分半自由,WebSocket会走OnError方法,将异常抛出,异常是java.io.EOFException.然后走@OnClose方法,将连接自动关闭.怀疑是nginx默认60秒断开连接的原因.于是本地搭建一个nginx,将proxy_read_timeout 设置为 5000s,结果并没什么用,经过检查,发现原nginx.conf文件中 的k...
ERROR server.datanode.DataNode: BlockSender.sendChunks() exception问题解决
ao_li_ao_的博客
09-13 1817
增加yarn-site-xml的配置 <!-- 每个容器请求的最小内存资源（以MB为单位）。--> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>512</value> </property> <!-- 每个容器请求的最大内存资源（以MB为单位）。--> <property> <name>y
【Bugs】hdaoop结点启动：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Bl
系'辞的博客
04-07 647
鸣谢——核心参考： 1.【Hadoop故障处理】全分布下，DataNode进程正常启动，但是网页上不显示，并且DataNode节点为空 问题描述: 【说明】分布式hadoop环境下，DataNode进程正常启动，但是但是hadoop的UI网页上显示DataNode节点为空 【说明】/etc/hosts 的ip和hostname配置正常，因为各服务器端ssh能互相ping通。 2021-04-07 21:26:35,038 ERROR org.apache.hadoop.hdfs.server.datan
Hadoop 数据节点DataNode异常
热门推荐
玄火的专栏
09-27 1万+
使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。
hadoop(2.5,2.6) HDFS偶发性心跳异常以及大量DataXceiver线程被Blocked故障处理分享
weixin_33747129的博客
08-13 269
一、概要  公司近期Storm清洗程序那边反应HDFS会出现偶发性的异常导致数据写不进HDFS，另外一些Spark作业在大规模往HDFS灌数据时客户端会出现各种“all datanode bad..”以及服务端出现各种timeout，值得注意的是出现这样的问题是各个datanode节点的负载并不高！二、故障分析  首先，当我们在HDFS客户端看到各种timeOut...什么waiting for ...
java.io.IOException: Broken pipe
qq_30434271的博客
09-24 739
org.apache.catalina.connector.ClientAbortException: java.io.IOException: Broken pipe at org.apache.catalina.connector.OutputBuffer.realWriteBytes(OutputBuffer.java:364) at org.apache.catalina.connector.OutputBuffer.flushByteBuffer(OutputBuffer.java:.
HDFS报EOFException异常
Curry_lee_3的博客
08-31 1891
现象 大晚上的收到线上DataNode挂掉异常的报警，值班同学随即做了重启处理，重启完成后，进程虽然在运行，但是NameNode的WebUI上显示大量的block丢失。 There are 12622047 missing blocks. Number of Under-Replicated Blocks 14436901 重新启动的DataNode节点block数量为0，明显不正常 HDFS在对丢失的block做恢复，missing blocks的数量在减少，但是丢失的的太多了，恢复速度很慢，这种情况肯定
DataInputStream.readFully EOFException
阿昊的博客
09-06 2937
异常是DataInputStream.readFully 的197行抛出的EOFException，原因是流读取完了，然后缓存没有读满，触发的异常。实际内容比Content-Length短导致的。 EOFException if this input stream reaches the end before reading all the bytes. public final void readFully(byte b[], int off, int len) throws IOExcep
EOFException解决办法.md
07-16
在处理文件或输入流时，了解如何妥善处理EOFException是非常重要的，以防程序因未处理的异常而崩溃。 上述给出的Java代码示例演示了如何通过读取文件来处理可能发生的EOFException。代码首先尝试打开一个文件，并...
broken pipe
chunting1122的博客
06-09 418
Servlet failed with an IOException. java.io.IOException: Broken pipe at sun.nio.ch.FileDispatcherImpl.write0(Native Method) at sun.nio.ch.SocketDis...
Broken Pipe
BryantLmm的博客
08-14 4751
Broken Pipe发生的原因 当某个进程试图往一个已收到RST的SOCKET连接写数据，就会出现Broken Pipe。 （由于TCP协议层已经处于RST状态了，因此不会将数据发出，而是发一个SIGPIPE信号给应用层，SIGPIPE信号的缺省处理动作是终止程序。） 那么确定什么时候TCP会发送RST报文段，就可以确定Broken Pipe发生的具体原因。 之前已经分析了TCP RST...
【线上异常】java.io.IOException: Broken pipe
后端研发工程师Marion的博客
09-14 1250
一、参考资料 记录一次java.io.IOException: Broken pipe 的异常处理_lijun169的博客-CSDN博客出现“Broken pipe”可能的情况：1、客户端请求服务器数据，服务器突然挂了；2、客户端请求服务端数据，服务端正常返回，凡是客户端由于超时等原因断开。原因分析：做了压力测试，发现遇到的情况属于第二种，由于去数据库取数据的时候，30秒里无法正常获取有效的数据库连接，或者查询时间长，导致OSB过来的请求超时，也就是客户端超时了，服务端还试图返回数据，结果导致如题异常。解
Hive中使用Python实现Transform时遇到Broken pipe错误排查
baicongli9053的博客
07-13 933
Hive中有一表，列分隔符为冒号(:)，有一列utime是Timestamp格式，需要转成Weekday存到新表。 利用Python写一个Pipeline的Transform，weekday.py的代码也很简单： import sys import datetime for line in sys.stdin: line=line.strip() uid,mid,rati...
Hive Cli SocketException:Broken Pipe
qingzhenli的博客
06-14 2052
上个月夜间调度出了几次java.net.SocketException:Broken Pipe的问题，如下： 看着异常第一感觉是网络或者mysql的问题，查看了那段时间的网络一切正常，mysql也没有过多连接的问题; netstat查看metastore连接的时候发现过多的连接，而连接metastore无非CLi和Hiveserver2两种，重启了HiveServer2后连接直线减少，
RestTemplate java.io.IOException:Broken pipe错误
点滴记忆，分享成长之路
12-05 3429
开发过程中发现，使用restTemplate请求接口，在部分压测情况下，会报Caused by: java.io.IOException: Broken pipe 1.错误原因： 服务端向前端socket连接管道写返回数据时 链接（pipe）却断开了 从应用角度分析，这是因为客户端等待返回超时了，主动断开了与服务端链接 连接数设置太小，并发量增加后，造成大量请求排队等待 内存是否足够多支持对应的并发量 网络延迟，是否有丢包 错误代码： @Configuration public...
java.io.IOexception:Broken pipe； java.io.IOexception:connection reset by peer
weixin_43115740的博客
08-18 1224
java.io.IOexception:Broken pipe； java.io.IOexception:connection reset by peer 语言：java 需求：java连接hbase，进行读写 如标题所示，IO异常了，但是这个时候的报错特别的笼统。根本看不到错误！ 首先查看hbase的master以及regionserver是否启动，日志有无异常，但是很不幸无异常 接下来查看zk的leader日志以及穷情况也无问题 因为是架构师写的代码，最开始根本没有想过代码会有问题，仔细查看代码后发现
hive-jdbc报出异常java.net.SocketException: Broken pipe
qq_42933769的博客
12-07 1578
我们这边是通过hive-jdbc，druid连接池连接hiveserver2查询hive数据，但每次hiveserver2重启后，查询程序也得重启，不然会重复使用已经无效的连接，提交的查询报错。查询DruidDataSourceFactory.createDataSource源码，发现创建连接时，super(fairLock)中给定了一些固定配置，hive-jdbc不支持validationQueryTimeout参数，会报Method not supported的异常。
使用jdbc操作hive（impala）运行时报borken pipe错误
u011856283的博客
05-16 5991
项目中需要使用hive来做查询，为了提高速度用了impala（jdbc地址没有变，驱动也还是hive，只是变了段口号）项目是springboot + gradle + dbcp + spring data hadoop项目中使用了spring新的HiveTemplate项目运行一段时间后，查询会报出borken pipe，有时也会报连接重置，这个问题找了很久，困惑了很久BasicDataSourc...
poplib.POP3_SSL -ERR EOF
最新发布
09-18
`poplib.POP3_SSL` 出现 `-ERR EOF` 错误通常意味着连接意外关闭或者服务器提前结束了响应。以下是一些可能的解决方案： ### 1. 检查网络连接 不稳定的网络可能导致连接中断，从而引发 `-ERR EOF` 错误。需要确保网络连接稳定，可以尝试重新连接网络或者切换到其他网络环境。 ### 2. 检查服务器状态 服务器可能暂时不可用或者出现故障。可以访问邮件服务提供商的官方网站或者状态页面，查看是否有服务器维护或者故障通知。 ### 3. 检查授权码和账号信息 使用错误的授权码或者账号信息可能会导致连接被服务器拒绝。确保使用的是正确的授权码而不是邮箱密码，因为部分邮箱服务要求使用授权码进行登录。例如，直接用 QQ 密码用作 `password` 会提示 `poplib.error_proto: -ERR Please using authorized code to login` [^1]。 ### 4. 检查代码逻辑 确保代码中没有意外关闭连接或者在连接未建立时进行操作。以下是一个示例代码，展示了如何正确使用 `poplib.POP3_SSL` 进行邮箱登录： ```python import poplib def mail_login(): email_account = "your_email@example.com" # 授权码 password = "your_authorization_code" pop3_server = "pop.example.com" try: # 连接到POP3服务器 server = poplib.POP3_SSL(pop3_server) server.set_debuglevel(1) # 打印欢迎信息 print(server.getwelcome().decode("utf-8")) # 发送用户名 server.user(email_account) # 发送授权码 server.pass_(password) print("登录成功") # 关闭连接 server.quit() except poplib.error_proto as e: print(f"登录失败: {e}") except Exception as e: print(f"发生未知错误: {e}") mail_login() ``` ### 5. 增加超时设置 在创建 `poplib.POP3_SSL` 对象时，可以增加超时设置，避免长时间等待无响应的连接。示例如下： ```python import poplib email_account = "your_email@example.com" password = "your_authorization_code" pop3_server = "pop.example.com" try: # 增加超时设置 server = poplib.POP3_SSL(pop3_server, timeout=10) server.set_debuglevel(1) server.user(email_account) server.pass_(password) print("登录成功") server.quit() except poplib.error_proto as e: print(f"登录失败: {e}") except Exception as e: print(f"发生未知错误: {e}") ``` ### 6. 检查防火墙和安全软件 防火墙或者安全软件可能会阻止与邮件服务器的连接。可以临时禁用防火墙或者安全软件，然后再次尝试连接。如果问题解决，则需要配置防火墙或者安全软件允许与邮件服务器的通信。 ### 7. 更新 Python 版本和相关库 确保使用的是最新版本的 Python 和 `poplib` 模块。旧版本的 Python 或者库可能存在已知的 bug，更新到最新版本可能会解决这些问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值