![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
Little-Spark
路漫漫其修远兮,吾将上下而求索
展开
-
flume的使用
1.flume是分布式的日志收集系统,把收集来的数据传送到目的地去。 2.flume里面有个核心概念,叫做agent。agent是一个java进程,运行在日志收集节点。 3.agent里面包含3个核心组件:source、channel、sink。 3.1 source组件是专用于收集日志的,可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、spooling d原创 2015-10-09 22:34:19 · 500 阅读 · 0 评论 -
Flume与Kafka整合之把flume中的数据sink到Kafka
一、说明 版本介绍:apache-flume-1.6.0-bin + kafka_2.10-0.8.2.0 场景说明:把flume中的数据sink到Kafka 集群说明: 192.168.215.90 broker、consumer、zookeeper 、flume 192.168.215.110 broker、zookeeper 192.168.2原创 2015-10-18 21:50:22 · 11461 阅读 · 0 评论