Flume
jackson_hou03
这个作者很懒,什么都没留下…
展开
-
整合Flume和Kafka的综合使用
1、技术选型Agent1:exec source + memory channel + avro sinkAgent2:avro source + memory channel + kafka sink2、Agent1配置exec-memory-avro.confexec-memory-avro.sources = r1exec-memory-avro.sinks = k1exec-...原创 2019-04-10 16:30:25 · 650 阅读 · 0 评论 -
Flume应用案例一
需求:从指定网络端口采集数据输出到控制台Flume架构图:使用Flume的关键就是写配置文件:A)配置SourceB)配置ChannelC)配置SinkD)把以上三个组件串起来先从看一下官网上example入门:# example.conf: A single-node Flume configuration# Name the components on this age...原创 2019-04-08 14:06:51 · 214 阅读 · 0 评论 -
Flume应用案例二
需求:监控一个文件实时采集新增的数据输出到控制台Agent选型:exec source + memory channel + logger sinkFlume架构图:使用Flume的关键就是写配置文件:A)配置SourceB)配置ChannelC)配置SinkD)把以上三个组件串起来先从看一下官网上example入门:# example.conf: A single-nod...原创 2019-04-08 17:49:02 · 155 阅读 · 0 评论 -
Flume应用案例三
需求:将A服务器的日志实时采集到B服务器技术选型:exec source + memory channel + avro sinkavro source + memory channel + logger sink案例架构图:使用Flume的关键就是写配置文件:A)配置SourceB)配置ChannelC)配置SinkD)把以上三个组件串起来192.168.199.150...原创 2019-04-08 18:16:54 · 140 阅读 · 0 评论