flume中HDFS IO error

最新推荐文章于 2022-03-14 19:27:28 发布

NicoleCao

最新推荐文章于 2022-03-14 19:27:28 发布

阅读量2k

点赞数 1

分类专栏： Big Data 文章标签： Flume HDFS IO error

本文链接：https://blog.csdn.net/NicoleSmith/article/details/78425584

版权

在配置了kafka source + memory channel + HDFS sink的Flume流程中，遇到HDFS IO错误：AccessControlException，原因是flume用户对目标HDFS目录没有写入权限。解决方法包括找到具有完全权限的目录或使用hadoop fs -chmod 777命令为指定目录授权。

摘要由CSDN通过智能技术生成

flume配置：

kafka source + memory channel + HDFS sink

配置内容：

################################################################################
###### list the sources, sinks, channels for the agent named a1

a1.sources = s1
a1.channels = c1
a1.sinks = k1
###### properties for sources
# kafka-sourcce
a1.sources.s1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.s1.channels = c1
a1.sources.s1.zookeeperConnect = ceshi1:2181,ceshi2:2181,ceshi3:2181/kafka
a1.sources.s1.groupId

最低0.47元/天解锁文章

NicoleCao

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
flume中HDFS IO error

flume配置：kafka source + memory channel + HDFS sink配置内容：###################################################################################### list the sources, sinks, channels for the agent
复制链接

扫一扫

专栏目录