【友云音】【问题排查记录-2】Agent成环问题

最新推荐文章于 2022-02-13 22:06:34 发布

Z.Virgil

最新推荐文章于 2022-02-13 22:06:34 发布

阅读量801

点赞数 1

分类专栏：友云音文章标签： java

本文链接：https://blog.csdn.net/zfr629/article/details/98624231

版权

友云音专栏收录该内容

12 篇文章 3 订阅

订阅专栏

问题现象

agent停止，数据上传异常。查询业务数据后发现，业务数据也异常

问题分析

在10.1.228.172的agent目录下的在httpchanle.log中发现，这个机器的agent自发现把10.1.228.176当成了跳板机。

2019-06-18 21:40:38 ReceiverRunable - [ INFO ] 设置自动发现的跳板机IP= 10.1.228.176 
2019-06-18 21:40:39 SendRunable - [ INFO ] 发送ping信号 
2019-06-18 21:40:39 ReceiverRunable - [ INFO ] 接收到10.1.228.172发送的ping信号 
2019-06-18 21:40:39 ReceiverRunable - [ INFO ] 接收到10.1.228.176发送的pong信号

又看了下errorCollection.log，确认了数据确实再向10.1.228.176，发送数据。

2019-06-18 21:46:14 HttpClientUtil - [ ERROR ]  url = https://10.1.228.176:44444/send/api/metric
2019-06-18 21:46:14 ForwardEventSink - [ ERROR ]  Sink send data happends IOException !!
java.io.IOException: Timeout waiting for connection from pool
	at ycm.agent.util.send.HttpClientUtil.sendPost(HttpClientUtil.java:186)
	at ycm.agent.util.send.HttpClientUtil.send(HttpClientUtil.java:110)
	at ycm.agent.util.send.SinkTool.sendPost(SinkTool.java:39)
	at ycm.agent.appmoni.trace.ForwardEventSink.sendTraceData(ForwardEventSink.java:214)
	at ycm.agent.appmoni.trace.ForwardEventSink.dealEventData(ForwardEventSink.java:176)
	at ycm.agent.appmoni.trace.ForwardEventSink.process(ForwardEventSink.java:67)
	at org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:68)
	at org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:148)
	at java.lang.Thread.run(Thread.java:662)

去10.1.228.176看同样日志发现，这台机器的agent把数据发往了10.1.228.173上发送数据。在6月18号晚，云端新架构上线，agent自己连接不到这样所有的agent都这么做，使agent行程了闭环，数据在内网发不出来。