flume
文章平均质量分 81
wen0220
linux、java、scala、hadoop、spark、es等
展开
-
flume传数据到hdfs
背景:flume可以实时的收集文件并传到hdfs上,它是一个高可靠的,分布式的海量日志采集、聚合和传输的系统。它可实现流式处理。自动故障转移。1.首先安装好flume,因为是flume用java写的,所以要配置下jdk2.运行时只要写好配置文件,agent.conf,然后用命令运行就行了flume有三个组件source、channel、sink在agent.conf里需要配置好这3个组件。他们的作...原创 2018-07-02 22:46:44 · 5829 阅读 · 0 评论 -
flume-hive-sink偶发kryo缺失异常(cdh)
flume写入hive开始正常,后续有时候报jar包缺失,有时候又正常,按提示导入相关jar包后没再出现异常信息:(Caused by: java.lang.ClassNotFoundException: com.esotericsoftware.kryo.Serializer)导入相应的jar包后会报其他异常,导入3个包后正常: kryo-2.22.jar objen...原创 2019-11-01 09:55:02 · 339 阅读 · 0 评论 -
自定义一个flume监控回收source
自定义回收metrics的source,及增加一个心跳heartbeat收集#source主要配置#自定义的类名a1.sources.HeartBeat.type = org.apache.flume.source.HeartBeatGeneratorSource#心跳采集间隔a1.sources.HeartBeat.intervalMs = 60000#ture采集监控数据,fal...原创 2019-10-29 17:15:52 · 207 阅读 · 0 评论 -
http sink自定义
问题:httpsink到终端接口依然用flume 的httpsource收集数据发现拿不到数据。发现源码的httpsink之后只保留了body的value其他信息都没了这里自定义一下,也可将header封装回去。package test;import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSON...原创 2019-02-03 10:21:29 · 942 阅读 · 0 评论 -
flume http source windows 中文乱码
flume HTTPSource默认的是utf-8的编码,flume服务用在linux机器上都是没问题的,但当把flume服务部署在windows机器上的时候,会出现乱码问题。从源码检查乱码出现在那里:1.在刚接收到请求的时候,打印requestBody里的内容是正常的,数据正常。2.数据存到event里之后,打印event里的内容,出现乱码。源码里有个JSONHandler的类处理...原创 2019-03-11 11:04:26 · 1064 阅读 · 0 评论 -
flume-ng-sql-source读取数据库延迟8小时以上报错
用https://github.com/keedio/flume-ng-sql-source这个项目读取数据库的时候run.query.delay设置的时间过长,导致java.sql.SQLRecoverableException报错,MySql默认一个connection(连接)空闲超过8小时自动断开,而程序认为这个连接还是可用的,这个时候用这个过时connection去连接MySql时就会...原创 2019-07-31 16:53:36 · 965 阅读 · 0 评论 -
flume报错信息收集
1.当http sink的端口,有异常的时候,sink不成功,会报transaction的提交错误,如下:2019-02-27 16:13:24,313 (lifecycleSupervisor-1-0) [INFO - org.apache.flume.instrumentation.MonitoredCounterGroup.start(MonitoredCounterGroup.java...原创 2019-07-31 17:13:06 · 1658 阅读 · 1 评论