Flume
文章平均质量分 60
一个专注的小白
这个作者很懒,什么都没留下…
展开
-
Flume
一、Flume概述flume是分布式的,可靠的,用于从不同的来源有效 收集,聚集 和 移动 大量的日志数据用以集中式管理的系统。是apache的一个顶级项目。二、Flume的安装配置a. 下载flumeflume是apache的顶级项目,通过访问如下地址可以下载flume的安装包:http://flume.apache.org/下载的时候要注意,flume主要有两个大的版本,分别是fl...原创 2018-11-29 10:18:16 · 222 阅读 · 0 评论 -
Flume Sink
一、Logger Sink记录指定级别的日志,通常用于调试。二、File Roll Sink在本地文件系统中存储事件,每隔指定时长生成文件保存这段时间内收集到的日志信息。配置Agent三、HDFS Sink此Sink将事件写入到Hadoop分布式文件系统HDFS中。它支持创建文本文件和序列化文件,对这两种格式都支持压缩。这些文件可以分卷,按照指定的时间或数据量或事件的数量为基...原创 2018-11-30 10:38:56 · 2071 阅读 · 0 评论 -
Flume Source
一、 Avro Source监听AVRO端口,接受来自外部AVRO客户端的事件流。是实现多级流动、扇出流、扇入流等效果的基础。另外也可以接受通过flume提供的Avro客户端发送的日志信息。a.配置Agentb.启动Agentc.通过Avro-Client测试二、Exec Source可以将命令产生的输出作为源a.配置Agentb.启动Agent三、Spoolin...原创 2018-11-30 10:39:30 · 169 阅读 · 0 评论 -
Flume Channel
一、Memory Channel事件将被存储在内存中的具有指定大小的队列中。特点是速度快,但断电丢失数据。非常适合那些需要高吞吐量但是可以容忍极端情况下会丢失数据的场景下。二、JDBC Channel了解,一般不用事件被持久存储在可靠的数据库中。提供较好的效率和可靠性可恢复性。目前支持嵌入式的Derby数据库。三、File Channel事件将被存储在磁盘中的文件...原创 2018-11-30 11:41:54 · 506 阅读 · 0 评论 -
Flume中三大重要的组件
一、Flume Selector1. Selector概述Selector即Flume中的选择器,主要用在实现扇出过程中实现按照指定方式分发数据。选择器的工作模式: 复制 和 多路复用(路由)模式默认情况下,不配置Selector,则扇出采用复制机制。2. Selector实现复制不配置Selector,默认在扇出时就是复制方式。也可以显示进行配置:3. Select...原创 2018-12-01 16:08:01 · 2129 阅读 · 0 评论