![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
文章平均质量分 67
胖胖学编程
这个作者很懒,什么都没留下…
展开
-
[数仓]埋点数据接入
kafka channel 将数据以event(header+body)的形式存储, 这样读的时候,读出来的是event,在kafka channel中设置 parseAsFlume=false则会以正常格式存储,不封装成Event,但是咱们得代码需要header,在拦截器中使用,所以不能这么设置。由于Flume默认会用Linux系统时间作为传输到HDFS的时间,如果数据是23:59:59产生的,消费Flume拉取数据的时候可能是00:00:03,那么这部分数据会被发往第二天的HDFS路径。原创 2023-02-03 17:16:38 · 912 阅读 · 0 评论 -
[flume]参数设置
flume滚动 lzo格式压缩原创 2023-01-19 10:31:34 · 267 阅读 · 0 评论 -
[flume]组成|source|channel|事务|拦截器|选择器|处理器|监控器|数据丢失问题|如何保证数据的完整性
1)实现Intercepter2)重写四个方法:处理单个Event处理多个event,在这个方法中调用Event intercept(Event event)【4】close方法3)静态内部类,实现Interceptor.BuilderChannel Selectors可以让不同的项目日志通过不同的Channel到不同的Sink中去。原创 2022-11-02 11:31:44 · 788 阅读 · 0 评论