![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
The Great Ant
做一个功成名就的人
展开
-
生产环境下Flume配置
鉴于网上关于flume的知识理论太多太杂,缺少生产环境下的配置方案,所以特发此篇我们集群的配置方案供大家参考。原创 2022-11-14 17:58:11 · 756 阅读 · 1 评论 -
2021-05-03
Flume采集数据会丢失吗?(防止数据丢失的机制)如果是FileChannel不会,Channel存储可以存储在File中,数据传输自身有事务。如果是MemoryChannel有可能丢。原创 2021-05-03 22:51:01 · 34 阅读 · 0 评论 -
2021-05-01
Flume拦截器1)拦截器注意事项 项目中自定义了:ETL拦截器。采用两个拦截器的优缺点:优点,模块化开发和可移植性;缺点,性能会低一些2)自定义拦截器步骤(1)实现(2)重写四个方法Ø initialize 初始化Ø public Event intercept(Event event) 处理单个EventØ public List intercept(List events) 处理多个Event,在这个方法中调用Event intercept(Event event原创 2021-05-01 23:46:21 · 49 阅读 · 0 评论 -
2021-04-30
Flume组成,Put事务,Take事务1)taildir source(1)断点续传、多目录 (2)哪个flume版本产生的?Apache1.7、CDH1.6(3)没有断点续传功能时怎么做的? 自定义(4)taildir挂了怎么办? 不会丢数:断点续传 重复数据:(5)怎么处理重复数据? 不处理:生产环境通常不处理,因为会影响传输效率 处理 自身:在taildirsource里面增加自定义事务 找兄原创 2021-04-30 23:24:21 · 139 阅读 · 1 评论