Flume
文章平均质量分 91
myllxy
欢迎关注知乎专栏:https://www.zhihu.com/column/c_1274036496291827712
展开
-
Flume与Kafka集成
一.区别与联系Flume:cloudera公司研发,适合多个生产者(多个生产者对应多个agent),适合下游消费者不多的情况(因为每个消费者对应一个sink和一个chanel),适合数据安全性要求不高的操作(数据保存在内存中),适合与Hadoop生态圈对接的操作。Kafka:LinkedIn公司研发,适合数据下游消费者众多的情况(因为Kafka可以采用pull模式),适合数据安全性要求高的...原创 2018-12-29 15:11:36 · 781 阅读 · 0 评论 -
Flume安装部署及基本使用
一.Apache Flume1.概述Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集聚合和传输的软件。Flume的核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地(sink),为了保证传输过程一定成功,在送到目的地(sink)之前,会先缓存(channel),待数据真正到达目的地(sink)之后,Flume再删除自己缓存的数据...原创 2018-12-25 20:14:15 · 6489 阅读 · 0 评论