![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 73
二百四十九先森
这个作者很懒,什么都没留下…
展开
-
Flume概述 && 三大核心组件的介绍及使用示例 && 常用模式 && 简单搭建 && 两个简单例子的配置文件
1、Flume概述 1、Flume介绍: 是一个用于收集海量日志数据的分布式框架,但不局限于日志数据。 它既可以处理离线数据,也可以处理实时数据。 问题:shell命令也可以将数据导入集群中,为什么不用呢? shell命令方式存在存储格式、压缩、容错等不便性 常用场景 flume->HDFS->batch flume->kafka-&...原创 2018-03-28 20:37:34 · 1205 阅读 · 0 评论 -
Flume之二
需求1:采集本地一个文件夹下文件到hdfs上定义agent如下:a1.sources=r1a1.sinks=k1a1.channels=c1a1.sources.r1.type=spooldira1.sources.r1.spooldir=/home/hadoop/data/spool_dataa1.channels.c1.type=memorya1.channels.c1.capacity=10...原创 2018-04-25 14:02:31 · 187 阅读 · 0 评论 -
Spark Streaming使用Flume作为数据源
官网地址: Flume Integration Guide 1、Spark Streaming 2.3.1适配 Flume 1.6.0,在Spark Streaming 2.3.0之后对flume的支持已被标记为过时。主要由于flume直接对接Spark Streaming 会造成Spark Streaming压力过大,特别是高峰期的时候(在之间加一层消息队列会好得多)。但由于很多公司可能仍然在用...原创 2018-07-10 14:35:04 · 1745 阅读 · 0 评论