RPC response exceeds maximum data length & Cannot assign requested address & java.net.UnknownH

最新推荐文章于 2024-01-09 12:50:21 发布
最新推荐文章于 2024-01-09 12:50:21 发布
阅读量4.9k 收藏 1
点赞数
分类专栏： 问题 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43681796/article/details/107709629
版权

场景：在使用flume的时候报错

问题：类似的问题总共有4个

				20/06/20 09:09:37 ERROR hdfs.HDFSEventSink: process failed
				java.lang.IllegalArgumentException: java.net.UnknownHostException: Project
					at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:445)
					at org.apache.hadoop.hdfs.NameNodeProxiesClient.createProxyWithClientProtocol(NameNodeProxiesClient.java:132)
					at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:350)
					at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:284)
					at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:167)
					at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3288)
					at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:123)
					at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3337)
					at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3305)
					at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:476)
					at org.apache.hadoop.fs.Path.getFileSystem(Path.java:361)
					at org.apache.flume.sink.hdfs.BucketWriter$1.call(BucketWriter.java:255)
					at org.apache.flume.sink.hdfs.BucketWriter$1.call(BucketWriter.java:247)
					at org.apache.flume.sink.hdfs.BucketWriter$8$1.run(BucketWriter.java:727)
					at org.apache.flume.auth.SimpleAuthenticator.execute(SimpleAuthenticator.java:50)
					at org.apache.flume.sink.hdfs.BucketWriter$8.call(BucketWriter.java:724)
					at java.util.concurrent.FutureTask.run(FutureTask.java:266)
					at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
					at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
					at java.lang.Thread.run(Thread.java:748)
				Caused by: java.net.UnknownHostException: Project
					... 20 more
				20/06/20 09:09:37 ERROR flume.SinkRunner: Unable to deliver event. Exception follows.
				org.apache.flume.EventDeliveryException: java.lang.IllegalArgumentException: java.net.UnknownHostException: Project
					at org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:464)
					at org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:67)
					at org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:145)
					at java.lang.Thread.run(Thread.java:748)
				Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: Project
					at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:445)
					at org.apache.hadoop.hdfs.NameNodeProxiesClient.createProxyWithClientProtocol(NameNodeProxiesClient.java:132)
					at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:350)
					at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:284)
					at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:167)
					at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3288)
					at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:123)
					at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3337)
					at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3305)
					at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:476)
					at org.apache.hadoop.fs.Path.getFileSystem(Path.java:361)
					at org.apache.flume.sink.hdfs.BucketWriter$1.call(BucketWriter.java:255)
					at org.apache.flume.sink.hdfs.BucketWriter$1.call(BucketWriter.java:247)
					at org.apache
最低0.47元/天 解锁文章
花掏尽
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CDH 安装 大数据组件 报错
01-07
使用CDH来安装大数据组件的时候，当安装到YARN、Hbase、Spark的时候报错，主要原因是YARN、Hbase、Spark在HDFS里面没有权限去创建文件 Spark SecurityManager: authentication disabled; ui acls disabled; users with view permissions : Set(spark); groups with view permissions: Set(); users with modify permissions: Set(spark) ;group with modify permissions:
Java远程连接HDFS实践 问题记录
qq_43623727的博客
10-11 1285
Java远程连接HDFS实践 问题记录
CDH安装HDFS报错：RPC response exceeds maximum data length
qiuye2014的博客
05-24 9227
INFO retry.RetryInvocationHandler: java.io.IOException: Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: "slaver2...
spark调用集群上文件报错:RPC response exceeds maximum data length
liuandefeng的专栏
05-15 2413
23/05/15 17:05:35 INFO SparkContext: Created broadcast 0 from textFile at CreateRddDemo2.scala:24Exception in thread "main" org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length at org.apache.hadoop.ipc.Client$IpcStreams.readRe
Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data len
最新发布
qq_56520755的博客
01-09 2115
遇到这个错误是创建语句中创建hdfs的路径报错，代码中路径写成了 " hdfs://92.168.41.11:9870 ",应该要和[root@node1 hadoop]# vim core-site.xml 这里面的配置一样才行。查看 core-site.xml 配置文件，发现是node1，所以将代码中的ip写成node1即可运行。
HDFS上传文件出错： Permission denied: user=user, access=WRITE, inode="/test":hdfs:supergroup:drwxr-xr-x
a20140724的专栏
08-16 866
问题描述： 在将本地文件上传到HDFS时出错。上传的代码如下： public static void writeToHdfs() throws Exception{ //String hdfsPath = "hdfs://master:8020/test1/test.txt";//hdfs位置 String localPath = "D:\\test.txt...
Predict whether income exceeds $50K/yr based on census data. Als
02-06
https://archive.ics.uci.edu/ml/datasets/Adult Abstract: Predict whether income exceeds $50K/yr based on census data. Also known as "Census Income" dataset. Labels : >50K, <=50K. age: continuous. ...
this exceeds GitHub's file size limit of 100.00 MB
03-30
标题 "this exceeds GitHub's file size limit of 100.00 MB" 提醒我们，当单个文件超过 100MB 时，GitHub 将无法接受这样的提交。描述中提供了几种应对策略，这里我们将详细讨论这些方法。 首先，Git Large File ...
Control_maximum_number_of_rows_in_a_table.zip
11-02
SIGNAL SQLSTATE '45000' SET MESSAGE_TEXT = 'The order exceeds the maximum number of lines allowed.'; END IF; END ``` 2. **应用程序层控制**：在大多数实际应用中，数据的插入操作通常由应用程序处理。...
JAVA常见错误（方便开发人员查找问题，也方便测试人员对bug进行描述）
12-04
4. java.lang.OutOfMemoryError: Requested array size exceeds VM limit 该错误是由于Heap空间不足。如果需要new一个如此之大的数组，程序逻辑多半是不合理的。解决方法是修改程序逻辑或通过-Xmx来增大堆内存。 5...
hadoop 与java 整合遇到的bug
qq_33398459的博客
04-29 777
org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: \"LAPTOP-TCJKIVPT/192.168.0.102\"; destination host is: \"LAPTOP-TCJKIVPT\":9870; 把连接地址改成这...
hive报错：return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exceptio
weixin_57967436的博客
05-04 3596
根据网上搜的解决方案(基本都是说连接的mysql编码不对)：改alter database hive character set latin1; 但是依然报错，根据后半段报错 MetaException(message:Got exception: org.apache.hadoop.ipc.RpcException RPC response exceeds maximum data length) 这个的意思时RPC请求超时： 什么是RPC(Remote Procedure Call) - 简书 (
org.apache.hadoop.ipc.RpcException:RPC response exceeds maximum data length
qq_41387313的博客
05-18 5776
记录一次粗心的，以前就碰到过。 服务器是阿里云的。linux配置内网，本地外网。 然后读取文件的时候用idea,读取时应该去掉端口号。 希望对各位有用。
hadoop报错 is longer than maximum configured RPC length 67108864
duanbiren123的博客
04-02 1151
hadoop 2.7.3 集群，出现录入数据延迟高的问题，namenode日志中有报错信息： is longer than maximum configured RPC length 67108864 报错原因： ipc实际通讯的数据包大于默认最大的数据包配置64MB 解决办法： 提高这个参数到128MB 1、在下面3个配置中同时加上 vi /data/usr/hadoop-2.7.3/s...
hadoop常见错误及解决办法！
热门推荐
沉底的石头
05-30 1万+
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out  Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。        /etc/security/limits.
flume与hdfs集成排雷指南
半斤米粉闯天下的博客
02-20 1365
先说一下环境，flume 1.9.0，hadoop 3.2.1，兼容没有问题，官方文档没什么好说的，足够详细，每一项后面都附带有例子，好评。但是在配置sink to hdfs的时候足足趟了不少雷，记录下来希望可以帮到更多的人。 错误最常见的还是java.lang.NoClassDefFoundError异常，出现这个提示100%是因为flume缺少相应的组件包，下面分别说一下缺少的内容，找到对应...
解决 99 Cannot assign requested address
dqchouyang的专栏
08-26 8463
报错如下： ERROR Connect to domain failed as :2003: Can't connect to MySQL server on 'domain:3306' (99 Cannot assign requested address) 翻译一下错误提示： 不能连接远程的mysql服务，不能分配请求地址 意思是：本机的连接数已经达到上限，无法在建立新的链接 所以 查看系统...
[Errno 99] Cannot assign requested address的报错原因：没有多余的端口可分配
qq_42995048的博客
08-21 6181
a
org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length
10-17
这个错误通常是由于RPC响应的数据长度超过了Hadoop配置中的最大值所导致的。... <name>ipc.maximum.data.length <value>100000000 ``` 其中，`ipc.maximum.data.length`属性的值可以根据实际情况进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值