flume 中sink用hdfs sink报拒绝连接错误hdfs-io

最新推荐文章于 2023-11-13 16:31:36 发布

m0_58310854

最新推荐文章于 2023-11-13 16:31:36 发布

阅读量3.6k

点赞数 2

分类专栏： flume 文章标签： hdfs hadoop flume

本文链接：https://blog.csdn.net/m0_58310854/article/details/123485998

版权

flume 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本文讲述了在使用Apache Flume将数据写入HDFS时遇到的连接错误，通过排查发现是由于Hadoop NameNode端口号不匹配。博主解决了这个问题，关键在于确认并使用NameNode的正确RPC端口（9820而非8020）。

摘要由CSDN通过智能技术生成

项目场景：

提示：这里简述项目相关背景：

使用flume，用hdfs sink

问题描述

提示：这里描述项目中遇到的问题：
报错：

WARN - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:454)] HDFS IO error
java.net.ConnectException: Call From hadoop102/192.168.xx.xxx to hadoop102:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

`
---



---

# 解决方案：
1.flume文件是直接复制的，老师可以允许我的不可以，配置本身没有错
2. jar包冲突问题，hadoop与flume中的guava存在版本冲突问题，删掉旧版本，复制新版本--重试无果
3. 看到这篇文章https://www.saoniuhuo.com/question/detail-1948150.html
怀疑hadoop中namenode端口号与flume中写的hdfs路径不匹配

果然不匹配！
我的namenode的端口是9820，老师用的是8020，我直接照抄的8020；
前者是普通集群中hdfs namenode 的端口号，后者是高可用集群中NameNode的RPC通信地址。
按照官方文档，ip地址后面跟的应该是namenode的端口号，故9820正确