Flume
会编程的海贼王
这个作者很懒,什么都没留下…
展开
-
大数据学习之 Flume + kafka + SparkStreaming
1.搭建Kafka 环境: 可参考 https://blog.csdn.net/weixin_37835915/article/details/103786157 (1)启动zookeeper (2)启动kafka (3)创建topic (4)启动Consumer 2. 搭建Flume 环境: http://www.apache.org/dyn/closer.lua/flum...原创 2020-01-14 16:03:09 · 217 阅读 · 0 评论 -
大数据学习之 Flume篇
一. 简介 Flume 是一个分布式,可弹性的弹性系统,用于高效收集、汇聚和移动大规模日志信息从不同的数据源到一个集中的数据存储中心(HDFS,Hbase) 注意:数据由agent收集, 二.Flume event Flume使用Event 对象来作为传递数据的格式,是内部数据传输的最基本单位组成:转载数据的字节数组 + 可选头部 Headers :Key/Value + b...原创 2019-11-21 16:10:45 · 269 阅读 · 0 评论