![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
ShadowWalker
这个作者很懒,什么都没留下…
展开
-
flume nginx 日志处理异常 JsonParseException: Unexpected character ('(' (code 40)): expected a valid value
flume nginx 日志处理异常 JsonParseException: Unexpected character (‘(’ (code 40)): expected a valid value最近flume处理nginx日志,每隔几天就断一次,出现JSON反序列化异常异常堆栈:2016/01/26 14:37:49.043 [ERROR] [] [] [SinkRunner-PollingRu原创 2016-01-26 15:06:45 · 20410 阅读 · 0 评论 -
flume + elasticSearch + kibana, 分析nginx日志
nginx 日志格式 2.81.22.87 - - [2016-01-08T15:33:55+08:00] "GET /do_not_delete/noc.gif HTTP/1.1" 200 3166 "-" "ChinaCache" "-" "0.000" "-" "-"2.81.22.83 - - [2016-01-08T15:33:55+08:00] "GET /do_not_delete/原创 2016-01-08 15:58:37 · 6025 阅读 · 1 评论 -
flume + elasticSearch + kibana
flume: 1.6.0 elasticSearch: 1.6.0kibana: 4.1.3-linux-x64下载地址:http://mirrors.hust.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gzhttps://download.elastic.co/elasticsearch/elasticsearch/elasticse原创 2016-01-06 19:37:12 · 1575 阅读 · 0 评论 -
log4j flume
描述最近使用 log4jFlumeAppender ,通信一会就会中断,自己将 log4jFlumeAppender 改造了2星期,重新看了 NettyAvroRpcClient 和 Netty 源码,最后还是经常性的异常,导致需要重新连接服务器,导致worker线程频繁性关闭和新建。最后决定在看服务器的代码,后来通过配置capacity(增大), 一般比较稳定,但还是每隔几分钟就会异常。使劲增大原创 2016-01-06 19:26:03 · 1506 阅读 · 0 评论 -
Log4jFlumeAppender
自己改造的 FlumeClinet 的 Log4jAppender修改了异常/断线重连修改header时间格式为ISO8601格式增加字符串LEVEL参数支持event.properties加入header(MDC)FlumeAppender.javapackage org.apache.log4j.client;import org.apache.avro.Schema;import原创 2016-01-11 10:59:22 · 1273 阅读 · 0 评论