flume
大数据容器
这个作者很懒,什么都没留下…
展开
-
Flume相关知识的总结
1.概述 1.1什么是flume 1、 Apache Flume 是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统,和Sqoop 同属于数据采集系统组件,但是 Sqoop 用来采集关系型数据库数据,而 Flume 用来采集流动型数据。 2、 Flume 名字来源于原始的近乎实时的日志数据采集工具,现在被广泛用于任何流事件数据的采集,它支持从很多数据源聚合数据到 HDFS。 3、 一般的...原创 2019-06-02 22:39:12 · 376 阅读 · 0 评论 -
kafka和flume整合
kafka和flume的整合 kafka和flume的整合应用非常的广泛 Flume是一个数据采集搬运工。配置数据源,可以源源不断的将数据采集过来,flume不会持久性的保存数据,但是会做一个临时性的缓存,最后还是需要sink将数据落地到外部的存储系统,比如hdfs、kafka。 实际上使用hdfs和kafka走的是两条线,flume和hdfs的整合一般都是做离线的批处理,而flume和kafka...原创 2019-07-02 22:40:09 · 2208 阅读 · 0 评论