大数据
文章平均质量分 67
说来世事不如闲
这不是神经病,是理想
展开
-
Flume
自定义flume的sink 目标:自定义sink,将rocketmq中的数据落地到本地文件 source的process方法相当于Event的生产者,不断向Channel中发送Event sink的process方法相当于Event的消费者,不断从Channel中取出Event进行处理 总体流程: 1、通过getChannel方法获取channel对象; Channel ch = getChannel(); //获取当前sink绑定的channel 2、通过take方法从chann..原创 2021-01-05 10:42:15 · 195 阅读 · 0 评论 -
Flume
简介 1. Flume和Kafka不同 Flume Apache Flume是一个很NB的用来收集日志的工具。 使用场景:用来进行数据采集和落地,将不同来源的线上数据落地成文件入库,或者传输到另外的系统,比如采集rocketmq的数据落成本地文件,然后入库。(通常很难让线上的应用系统或者服务去开发接口,直接往库里写数据,flume正好作为数据采集和传输的角色,可以实现这样的需求) 特点:分布式、高可靠(数据可靠传输)、高可用 Flume的Source-Channel-Sink模型,非常适合作原创 2020-12-24 11:50:03 · 72 阅读 · 0 评论