hadoop报错 is longer than maximum configured RPC length 67108864

最新推荐文章于 2024-04-04 07:30:00 发布
最新推荐文章于 2024-04-04 07:30:00 发布
阅读量1k 收藏 1
点赞数
分类专栏： 云计算和大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duanbiren123/article/details/106694079
版权
在使用Hadoop 2.7.3集群时遇到数据录入延迟高且namenode日志显示'is longer than maximum configured RPC length 67108864'错误。该错误是因为IPC通讯数据超过默认最大64MB限制。解决方法包括：1) 在core-default.xml, core-site.xml和hdfs-site.xml中增加`ipc.maximum.data.length`配置至128MB；2) 修改protobuf-java-2.5.0-sources.jar中CodedInputStream.java的DEFAULT_SIZE_LIMIT为128MB，并替换到相关lib目录；3) 重启整个集群以应用更改。" 114268983,10715963,Python环境配置与IDEA创建项目指南,"['Python', 'IDEA', '开发环境', '项目配置']
摘要由CSDN通过智能技术生成

hadoop 2.7.3 集群，出现录入数据延迟高的问题，namenode日志中有报错信息：
is longer than maximum configured RPC length 67108864

报错原因：
ipc实际通讯的数据包大于默认最大的数据包配置64MB

解决办法：
提高这个参数到128MB

1、在下面3个配置中同时加上 
vi /data/usr/hadoop-2.7.3/share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml
vi /data/usr/hadoop-2.7.3/etc/hadoop/core-site.xml
vi /data/usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
<property>
<name>ipc.maximum.data.length</name>
<value>134217728</value>
</property>

2、替换 protobuf-java-2.5.0-sources.jar ，解压 jar包，其中修改 CodedInputStream.java 的 DEFAULT_SIZE_LIMIT 参数

DEFAULT_SIZE_LIMIT = 64 << 20
>>
DEFAULT_SIZE_LIMIT = 128 << 20

拷贝新的包替换到下面目录
/data/usr/hadoop-2.7.3/share/hadoop/common/lib/
/data/usr/hadoop-2.7.3/share/hadoop/hdfs/lib/
/data/usr/hadoop-2.7.3/share/

最低0.47元/天 解锁文章
我的八仙桌
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop ipc server 分析
baiyangfu的专栏
10-25 6359
最近遇见namenode 响应时间变慢，分析一下namenode 的 ipc server源码，记录一下ipc server的机制
Requested data length 88431035 is longer than maximum configured RPC length 67108864.
博学而笃志，切问而近思
04-05 2166
HDFS DataNode RPC 异常 Requested data length 88431035 is longer than maximum configured RPC length 67108864. 异常信息 2020-04-05 08:29:19,993 WARN org.apache.hadoop.ipc.Server: Requested data length 8843103...
PHP错误Allowed memory size of 67108864 bytes exhausted
weixin_40668374的博客
05-13 831
PHP错误Allowed memory size of 67108864 bytes exhausted PHP错误Allowed memory size of 67108864 bytes exhausted vim /etc/php5/apache2/php.ini 修改 php.ini配置文件，在php.ini中找到memory_limit = 16M，将前面的分号去掉，改动值的大小，将memory_limit由8M改成16M（或更大），重启apache服务即可 ...
Git 传输大文件，出现：error: Object too large (89,567,972 bytes), rejecting the pack. Max o
幻空的博客
09-12 1513
git大文件上传出现： error: Object too large (89,567,972 bytes), rejecting the pack. Max object size limit is 67,108,864 bytes. error: pack-objects died of signal 13 解决办法
NN启动测试优化遇到的问题汇总2
m0_37613244的博客
04-30 608
1.3 文件写入速度明显下降 问题场景：在写入5000w文件后，发现之后的写入速度很慢，之前每秒能写六七百个文件，现在每秒只能写几十个文件，甚至个位数的文件。排查CPU、网络和内存都不是瓶颈。 原因：在排查datanode的io时，发现了一个奇怪的现象，读io很高（每秒数万个读请求），写io很低（每秒几十个写请求），集群明明一直在写文件，并没有读的操作，怎么会出现如此反常的现象？通过top查看cpu使用率高的几个进程，发现排在前两位的居然是两个du进程，第三位的才是datanode进程。通过查阅资料和阅读
Hadoop版本信息对比2.6.0-3.0.0
qq_44293181的博客
01-02 2332
目前我搭建的大数据集群的hadoop主要版本为2.6.0，版本日期为2014.11.18。为了适应大数据的不断发展和更新换代，特此分享hadoop主要版本信息，为版本升级做准备。 原始版本：2.6.0 版本日期：2014.11.18 第三方版本信息：HDP2.2.6 目标版本：3.0.0 版本日期：2017.12.13 第三方版本信息：CDH6.0.1 涉及中间版本：2.7.0|3.0.0 alp...
HDFS报EOFException异常
Curry_lee_3的博客
08-31 1703
现象 大晚上的收到线上DataNode挂掉异常的报警，值班同学随即做了重启处理，重启完成后，进程虽然在运行，但是NameNode的WebUI上显示大量的block丢失。 There are 12622047 missing blocks. Number of Under-Replicated Blocks 14436901 重新启动的DataNode节点block数量为0，明显不正常 HDFS在对丢失的block做恢复，missing blocks的数量在减少，但是丢失的的太多了，恢复速度很慢，这种情况肯定
hadoop的配置选项
热门推荐
u011326189的专栏
12-31 1万+
为方便阅读，特在此整理： core_site.xml 引用：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml name value description hadoop.common.configuration.version 0.2
CDH Hadoop HDFS EOFException异常的问题
大树叶 技术专栏
09-01 2126
CDH hadoop HDFS系统中，看了下出现异常的DataNode节点日志 018-09-04 23:24:38,446 WARN org.apache.hadoop.hdfs.server.datanode.DataBlockScanner: No block pool scanner found for block pool id: BP-21853433-xxxxxxxxx-1484835379573 2018-09-05 00:45:13,777 INFO org.apache.hadoo.
HDFSRPC通信框架参数详解
最新发布
行路中
04-04 762
请先阅读HDFSRPC通信框架详解，对整体框架有一定的了解。
Caused by: java.lang.IllegalStateException: com.google.protobuf.InvalidProtocolBufferException: Prot
weixin_51473488的博客
11-15 359
hadoop中namenode报错Caused by: java.lang.IllegalStateException: com.google.protobuf.InvalidProtocolBufferException: Protocol message was too large. May be malicious. Use CodedInputStream.setSizeLimit() to increase the size limit。在hdfs-site.xml中添加以下配置。
hadoop2升级的那点事情(详解)
weixin_34292287的博客
09-17 177
前言 前阵子，公司的hadoop从hadoop1.02升级到hadoop2.4.1，记录下升级的步骤和遇到的问题，和大家分享，希望别人可以少走一些弯路 技术选型   当前使用版本：     apache hadoop 1.0.2      hive 0.10  升级目标版本     Apache hadoop 2.4.1     Hive 0.13   升级风险点 Hdfs的升级Had...
Hadoop 请求数据长度 Requested Data length 超过配置的最大值
LizhiQiang
10-26 1759
Spark 任务速度变慢，也不失败。DataNode 内存足够 CPU 负载不高 GC 时间也不长。查看 DataNode 日志，发现有些日志出现很多 Netty RPC 超时。
tmpfs文件系统介绍
a2591748032的博客
12-30 2822
tmpfs文件系统介绍
Hadoop/Hive-学习笔记【中级篇】
qq_34226628的博客
04-17 3627
hadoop配置文件详解系列 core-site.xml篇 hdfs-site.xml篇 本篇继续介绍hdfs-site.xml的配置。 属性名称 解释 hadoop.hdfs.configuration.version 【属性值】：1;【描述】：配置文件的版本 dfs.namenode.rpc-address 【属性值】：;【描述】：处理所有客户端请求的RPC地址，若在HA场景中，可能有多个namenode，就把名称ID添加到进来。该属性的格式...
mysql导入大量数据时报MySQL server has gone away错误的解决办法
qiuyu6958334的博客
02-27 282
在我们使用mysql导入大文件sql时可能会报MySQL server has gone away错误，该问题是max_allowed_packet配置的默认值设置太小，只需要相应调大该项的值之后再次导入便能成功。该项的作用是限制mysql服务端接收到的包的大小，因此如果导入的文件过大则可能会超过该项设置的值从而导致导入不成功！下面我们来看一下如何查看以及设置该项的值。 查看 max_allowe...
How to change max_allowed_packet value in mysql?
popotang
06-08 869
 If you set it in the cnf(it may be my.ini file) you will likely need to restart the server. Optionally, that is a dynamic variable and can be SET GLOBAL or SET SESSION from the command line as we
hadoop报错server is not wrapping data
06-10
这个错误通常是由于 Hadoop 配置有误导致的，具体原因可能是以下几种情况之一： 1. Hadoop 配置文件中的 fs.defaultFS 配置不正确，导致无法正确读取数据； 2. Hadoop 配置文件中的 dfs.client.use.datanode.hostname 配置不正确，导致无法正确连接到数据节点； 3. Hadoop 配置文件中的 dfs.client.read.shortcircuit 配置不正确，导致无法正确读取数据。 解决方法： 1. 检查 Hadoop 配置文件中的 fs.defaultFS 配置是否正确，确保它指向正确的 Hadoop 文件系统地址； 2. 检查 Hadoop 配置文件中的 dfs.client.use.datanode.hostname 配置是否正确，确保它指向正确的数据节点； 3. 检查 Hadoop 配置文件中的 dfs.client.read.shortcircuit 配置是否正确，确保它设置为 true。 如果以上方法都没有解决问题，你可以查看 Hadoop 的日志文件，找出更详细的错误信息，然后根据错误信息进行进一步排查和解决。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值