CDH安装HDFS报错：RPC response exceeds maximum data length

最新推荐文章于 2024-10-18 16:22:17 发布
最新推荐文章于 2024-10-18 16:22:17 发布
阅读量9.4k 收藏
点赞数
分类专栏： Linux hadoop 文章标签： hadoop hdfs hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiuye2014/article/details/90516668
版权 
INFO retry.RetryInvocationHandler: java.io.IOException: Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: "slaver2/10.5.24.149"; destination host is: "slaver1":9000; , while invoking ClientNamenodeProtocolTranslatorPB.getFileInfo over slaver1/10.5.24.148:9000 after 1 failover attempts. Trying to failover after sleeping for 997ms.

由于本人之前创建过hadoop账户单独安装过hdfs，又在root账户下使用CDH方式安装HDFS，在hadoop账户切换root账户时，使用的是`su` 命令，导致把hadoop的环境变量携带到root下导致以上问题，改为`su -` 切换root即可解决以上问题

 

qiuye2014
关注
专栏目录
已解决：centos7下cdh集群报错总结，环境CDH6.3.2+cm6.1，持续更新
酒心★
05-02 2008
之前我的虚拟机用的都是ambari搭建的HDP，由于看到网上讲的和朋友讲的企业中用的一般是CDH，且CDH的稳定性和效率也会比较高。所以今晚就在虚拟机上搭建了CDH。(只不过我搭建的不是集群，只是在一个机器上搭建) 具体搭建过程，我总结好了，可以私信我直接获取 cdh搭建的有道云笔记，有空再写上来。 以下是相关的一些注意事项和错误总结！ 1.httpd无法进入，重启也不行的解决方法 如果已经用启动命令了但是无法进入网页或者报错的话，排除端口开放问题和防火墙问题之后。那么先用yum卸载httpd和mod_ws
org.apache.hadoop.ipc.RpcException:RPC response exceeds maximum data length
qq_41387313的博客
05-18 5925
记录一次粗心的，以前就碰到过。 服务器是阿里云的。linux配置内网，本地外网。 然后读取文件的时候用idea,读取时应该去掉端口号。 希望对各位有用。
RPC response exceeds maximum data length & Cannot assign requested address & java.net.UnknownH
weixin_43681796的博客
07-31 5082
场景：在使用flume的时候报错 问题： 20/06/20 09:09:37 ERROR hdfs.HDFSEventSink: process failed java.lang.IllegalArgumentException: java.net.UnknownHostException: Project at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:445) at
spark调用集群上文件报错:RPC response exceeds maximum data length
liuandefeng的专栏
05-15 2620
23/05/15 17:05:35 INFO SparkContext: Created broadcast 0 from textFile at CreateRddDemo2.scala:24Exception in thread "main" org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length at org.apache.hadoop.ipc.Client$IpcStreams.readRe
Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data len
qq_56520755的博客
01-09 2878
遇到这个错误是创建语句中创建hdfs的路径报错，代码中路径写成了 " hdfs://92.168.41.11:9870 ",应该要和[root@node1 hadoop]# vim core-site.xml 这里面的配置一样才行。查看 core-site.xml 配置文件，发现是node1，所以将代码中的ip写成node1即可运行。
Flink CDC 报：RPC response exceeds maximum data length
最新发布
hhR888888的博客
10-18 315
Flink CDC 报：RPC response exceeds maximum data length，解决方法
CDH 安装 大数据组件 报错
01-07
使用CDH来安装大数据组件的时候，当安装到YARN、Hbase、Spark的时候报错，主要原因是YARN、Hbase、Spark在HDFS里面没有权限去创建文件 Spark SecurityManager: authentication disabled; ui acls disabled; users ...
重新编译CDH版本hadoop报错：Non-resolvable parent POM: Could not transfer artifact com.
qq_33572504的博客
06-26 2567
重新编译CDH版本hadoop报错： Could not transfer artifact com.cloudera.cdh:cdh-root:pom:5.14.0 from/to cdh.repo (https://repository.cloudera.com/artifactory/cloudera-repos): peer not authenticated and ‘parent.re...
CDH5.14安装Spark报错：Error: JAVA_HOME is not set and could not be found.
猫不夜行的博客
11-26 1136
安装spark过程 报错： Error: JAVA_HOME is not set and could not be found. 排查java是否装好： [root@node02 module]# java -version java version "1.8.0_91" [root@node02 module]# export declare -x CLASSPATH=".:/*/*...
Hadoop 请求数据长度 Requested Data length 超过配置的最大值
LizhiQiang
10-26 2144
Spark 任务速度变慢，也不失败。DataNode 内存足够 CPU 负载不高 GC 时间也不长。查看 DataNode 日志，发现有些日志出现很多 Netty RPC 超时。
hdfs目录存储最大文件数异常MaxDirectoryItemsExceededException
萧何的博客
01-05 1212
hdfs-site.xml文件参数中，定义一个目录最大的item数，设置为0将会使该检查失效，默认值：1048576。 在2.7.3版本中，必须设置为1~6400000。 18/11/05 22:22:15 INFO scheduler.TaskSetManager: Lost task 203616.0 in stage 0.0 (TID 1049710) on emr-worker-412.c...
hive使用HDFS上的jar包创建永久关联函数失败
weixin_44870066的博客
04-09 1479
创建base_analizer函数与hdfs上上传的jar包做关联 hive (gmall)> create function base_analizer as 'udf.BaseFieldUDF' using jar 'hdfs://hadoop102:9000/user/hive/jars/hivefunction-1.0-SNAPSHOT.jar'; 报如下错误 Call From hadoop102/192.168.66.102 to hadoop102:9000 failed on con
hadoop报错 is longer than maximum configured RPC length 67108864
duanbiren123的博客
04-02 1246
hadoop 2.7.3 集群，出现录入数据延迟高的问题，namenode日志中有报错信息： is longer than maximum configured RPC length 67108864 报错原因： ipc实际通讯的数据包大于默认最大的数据包配置64MB 解决办法： 提高这个参数到128MB 1、在下面3个配置中同时加上 vi /data/usr/hadoop-2.7.3/s...
hive报错：return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exceptio
weixin_57967436的博客
05-04 3888
根据网上搜的解决方案(基本都是说连接的mysql编码不对)：改alter database hive character set latin1; 但是依然报错，根据后半段报错 MetaException(message:Got exception: org.apache.hadoop.ipc.RpcException RPC response exceeds maximum data length) 这个的意思时RPC请求超时： 什么是RPC(Remote Procedure Call) - 简书 (
hadoop与spark遇见的问题
weixin_47014745的博客
06-15 747
这里写自定义目录标题hadoop与spark遇见的问题RPC响应超出最大数据长度Hadoop访问被拒绝 hadoop与spark遇见的问题 RPC响应超出最大数据长度 java.lang.NoSuchMethodException: org.apache.hadoop.ipc.RpcException.(java.lang.String)错误 解决办法： 1.找到hadoop/etc目录下的core-site.xml,修改value 确定与你代码中使用的路径一致 fs.defaultFS hdfs://1
flume与hdfs集成排雷指南
半斤米粉闯天下的博客
02-20 1415
先说一下环境，flume 1.9.0，hadoop 3.2.1，兼容没有问题，官方文档没什么好说的，足够详细，每一项后面都附带有例子，好评。但是在配置sink to hdfs的时候足足趟了不少雷，记录下来希望可以帮到更多的人。 错误最常见的还是java.lang.NoClassDefFoundError异常，出现这个提示100%是因为flume缺少相应的组件包，下面分别说一下缺少的内容，找到对应...
hadoop踩坑记录（1）
_Tucci
04-11 5769
windows单机安装hadoop 3.1.0。建议将java换成java8。最开始用的java10各种问题 到hadoop官网下载。 windows的需要下载一个这个https://github.com/steveloughran/winutils；然后根据自己的hadoop版本，替换掉bin中的文件。 然后将hadoop解压。之后将解压目录设置环境变量HADOOP_HOME。然后配置配置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值