![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
The Great Ant
做一个功成名就的人
展开
-
生产环境下Flume配置
鉴于网上关于flume的知识理论太多太杂,缺少生产环境下的配置方案,所以特发此篇我们集群的配置方案供大家参考。原创 2022-11-14 17:58:11 · 767 阅读 · 1 评论 -
2021-05-03
Flume采集数据会丢失吗?(防止数据丢失的机制) 如果是FileChannel不会,Channel存储可以存储在File中,数据传输自身有事务。 如果是MemoryChannel有可能丢。原创 2021-05-03 22:51:01 · 36 阅读 · 0 评论 -
2021-05-01
Flume拦截器 1)拦截器注意事项 项目中自定义了:ETL拦截器。 采用两个拦截器的优缺点:优点,模块化开发和可移植性;缺点,性能会低一些 2)自定义拦截器步骤 (1)实现 (2)重写四个方法 Ø initialize 初始化 Ø public Event intercept(Event event) 处理单个Event Ø public List intercept(List events) 处理多个Event,在这个方法中调用Event intercept(Event event原创 2021-05-01 23:46:21 · 50 阅读 · 0 评论 -
2021-04-30
Flume组成,Put事务,Take事务 1)taildir source (1)断点续传、多目录 (2)哪个flume版本产生的?Apache1.7、CDH1.6 (3)没有断点续传功能时怎么做的? 自定义 (4)taildir挂了怎么办? 不会丢数:断点续传 重复数据: (5)怎么处理重复数据? 不处理:生产环境通常不处理,因为会影响传输效率 处理 自身:在taildirsource里面增加自定义事务 找兄原创 2021-04-30 23:24:21 · 143 阅读 · 1 评论