Flume Avro Source 远程连接拒绝解决方法

最新推荐文章于 2024-10-09 07:00:00 发布
最新推荐文章于 2024-10-09 07:00:00 发布
阅读量6.4k 收藏 2
点赞数 3
分类专栏： flume cloudera 文章标签： 数据导入 远程连接 exception 实例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/doegoo/article/details/49448725
版权
本文提供了解决Apache Flume配置错误的方法，包括如何正确设置source的bind参数，避免出现RPC连接错误。具体步骤涉及配置source时将bind指定为主机名或ip，而非默认的127.0.0.1或0.0.0.0，以确保其他主机能够正常连接并传输数据。
摘要由CSDN通过智能技术生成

报错如下：

Exception in thread "main" org.apache.flume.FlumeException: NettyAvroRpcClient { host: xxxx, port: xxxx}: RPC connection error

解决方法：

把bind指定为主机名或ip(非127.0.0.1或0.0.0.0)

实例如下：

# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = hostname/ip   #必需为主机名或者是本机ip(不能用127.0.0.1或0.0.0.0)

#否则用其它主机连接传送数据过来时会出现连接拒绝的错误
a1.sources.r1.port = 41418   #绑定的端口
a1.sources.r1.ipFilter = true #是否使用拦截器
a1.sources.r1.ipFilterRules = deny:name:localhost,allow:ip:


doegoo
关注
专栏目录
flume avro java 发送数据_flume avro 程序报错
weixin_31417633的博客
02-13 431
如题：flume 启动程序的conf文件为agent1.sources=source1agent1.sinks=sink1agent1.channels=channel1agent1.sources.source1.type=spooldiragent1.sources.source1.spoolDir=/root/scripts/dataagent1.sources.source1.channe...
Flume Source组件实战—Avro、Spool、Exec（详细图文）
夏天小厨的博客
12-11 6547
在Flume原理剖析和安装部署章节，我们最后提到NetCat Source的实例，实现了监听一个指定的网络端口，只要在应用程序向这个端口里面写数据，这个NetCat Source组件就能获取到信息。本章内容继续讲解Flume Source的其他几个常用组件，Avro Source、Spool Source、Exec Source，后两者是属于自动监控读取文件的source组件。因为本文只测试Sou...
【Flume】Rpc sink XX closing Rpc client:NettyAvroRpcClient {xx} …… Failed to send events 问题解决
三也_攻城狮
05-12 6504
从以上截图信息，就可以看出问题了，服务端和客户端连接信息对不上，服务端有很多ESTABLISHED的连接，其实是无用的。这种情况，起初，我也很奇怪，没有发现原因，只能查看日志了。 通过日志信息，发现出现了异常，但是很奇怪，在异常信息之前，有一句Rpc sink {} closing Rpc client: {} 这里destroyConnection了，摧毁了一
Apache Flume 启动报错及解决方法
最新发布
天冬忘忧的博客
10-09 529
在使用 Apache Flume 时，可能会遇到启动报错的情况，其中一个常见问题就是 log4j 错误。本文将结合两个实际案例来分析这个问题，并提供相应的解决方法。flume-ng agent -n a1 -c ../conf/-f ./flume_info.conf -Dflume.root.logger=INFO,console
org.apache.flume.FlumeException: NettyAvroRpcClient { host: localhost, port: xxxxx }: RPC connection
gym02的博客
03-16 3893
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
测试flume、kafka 组件遇到的几个问题
qq_41919284的博客
11-08 1063
1.flume采用netcat的方式测试服务是否正常启动的异常： ERROR org.apache.flume.source.NetcatSource - Unable to bind to socket. Exception follows. java.net.BindException: Address already in use 原因：flume中的source设置的端口被占用 换一个...
hadoop生态实战所遇到的问题
qq_26712449的博客
03-11 446
JAVA远程连通flume和kafka flume avro source的远程连接 •报错如下： Exception in thread “main” org.apache.flume.FlumeException:NettyAvroRpcClient{ host:xxxx,port:xxxx}:RPC connection error 把flume/conf/flume-kafka....
解决flume运行中的一个异常问题！
weixin_34239169的博客
02-20 1814
今天在本地测试flume的exec  监控文件   分割的问题！！！遇到各种141异常问题！   怀疑是在切割文件的时候超过了监控文本的时间，导致flume异常退出，，，所以增加了keep-alive 时长，，，他的默认值是3秒，，我把它设置为30秒，，，之后运行，，，，他不再异常！！！ 解决：设置agent1.channels.<channel_name>.keep-alive ...
Flume笔记二之source,channel,sink
ty4315的专栏
11-20 4127
flume中source,channel,sink基本介绍
一次flume exec source采集日志到kafka因为单条日志数据非常大同步失败的踩坑带来的思考
HuaZi_Myth的博客
11-07 4540
本次遇到的问题描述，日志采集同步时，当单条日志（日志文件中一行日志）超过2M大小，数据无法采集同步到 kafka，分析后，共踩到如下几个坑。 1、flume采集时，通过shell+EXEC（tail -F xxx.log 的方式） source来获取日志时，当单条日志过大超过1M时，source端无法从日志中获取到Event。 2、日志超过1M后，flume的kafka sink 作为生产者发送给...
Flume配置（NetCatSource，ExecSource，SqoolingDirectory，MemoryChannel， FileChannel，LoggerSink，HDFS Sink ）
May_J_Oldhu的博客
11-30 438
Flume组件的配置示例一.Flume组件的配置示例1.NetCat TCP Source，Memory Channel,Logger Sink1）NetCat TCP Source2）Memory Channel3）Logger Link2.Exec Source，Memory Channel,Logger Sink1）Exec Source2）Memory Channel3.Spooling Directory Source,File Channel,Logger Link1）Spooling Dire
flume采集mysql日志_日志采集工具Flume的安装与使用方法
weixin_31243809的博客
02-06 558
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。Flume主要由3个重要的组件构成：Source:完成对日志数据的收集，分成transtion 和 event 打入到channel之中。Channel:主要提供一...
flume报错java.net.ConnectException: 拒绝连接；
CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
04-23 3021
flume报错记录:java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
flume error
senvil的专栏
10-04 1027
org.apache.flume.FlumeException: NettyAvroRpcClient { host: master, port: 5555 }: RPC connection error         at org.apache.flume.api.NettyAvroRpcClient.connect(NettyAvroRpcClient.java:178)        
记flume部署过程中遇到的问题以及解决方法（持续更新）
热门推荐
小麒麟的成长之路
08-21 4万+
项目需求是将线上服务器生成的日志信息实时导入kafka，采用agent和collector分层传输，app的数据通过thrift传给agent，agent通过avro sink将数据发给collector，collector将数据汇集后，发送给kafka，拓扑结构如下：现将调试过程中遇到的问题以及解决方法记录如下：1、 [ERROR - org.apache.thrift.server.Abstr...
报错解决：Flume实现多节点Avro Source报错
邵奈一的博客
02-25 1964
实操背景：其实很简单，就是想要使用 Avro Source ，在 master 上启动 Flume 的 Agent ，然后让 slave1 节点发送信息过来，让 master 采集到。 有小伙伴报了以下错误： org.apache.flume.FlumeException: Failed to set up server socket at org.apache.flume.source.AvroSource.start(AvroSource.java:248) at org.apache.flume.
FLUME启动报错ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirect
ddbbff2005的博客
03-12 3615
昨晚做项目，一切正常，今天重新执行，报错如下 [ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:256)] FATAL: Spool Directory source source1: { spoolDir: /home/hdp01/a...
Flume.apache.org 官方文档学习笔记 part three
Kingsley's Blog
10-20 324
flume 源 avro 源 监听 Avro的端口和从外部的Avro客户端数据流接收事件，当built-Avro 接收器和另一个流代理配对时，他可以创建层列式收集拓扑，所需的属性用粗体表示了： Example for agent named a1： a1.sources = r1 a1.channels = c1 a1.sources.r1.t...
Flume-ng-1.4.0安装及运行遇到问题总结
panguoyuan的专栏
09-25 1万+
1、到官方网上下载apache-flume-1.4.0-bin.tar.gz
flume avro可以同时作为source和sink吗
06-06
是的，Flume的Avro Source和Avro Sink都是可用的。Avro Source可以接收来自Avro客户端的数据，并将其发送到Flume的通道中。而Avro Sink可以将Flume的通道中的数据发送到Avro客户端。因此，Flume的Avro Source和Avro Sink可以同时使用，以实现从一个Flume Agent到另一个Flume Agent的数据传输。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值