flume
文章平均质量分 61
kkongyu
这个作者很懒,什么都没留下…
展开
-
Flume笔记(一) flume工作原理以及数据源获取
flume 特点: 分布式、可靠、高可用的海量日志采集、聚合和传输的系统 在生产者和消费者中间起协调作用flume工作原理: flume的数据流由事件(event)贯穿始终。事件是flume的基本单位,它携带日数据并且携带带有头信息, 这些event由agent外部的source生成,当source捕获事件后会进行特定的格式化,然后source会把事件推入channel中, 保存事...原创 2018-12-08 21:50:33 · 1495 阅读 · 0 评论 -
flume笔记(二) flume数据存储
flume原理flume工作原理:flume的数据流由事件(event)贯穿始终。事件是flume的基本单位,它携带日数据并且携带带有头信息,这些event由agent外部的source生成,当source捕获事件后会进行特定的格式化,然后source会把事件推入channel中,保存事件直到sink事件处理完该事件为止,sink负责持久化或者把事件推向另一个source或者写入hdfs...原创 2018-12-08 21:58:18 · 712 阅读 · 0 评论 -
flume笔记(三) 多级agent连接模型
两层agent连接avroSource和avroSink实现跃点agent代理:配置avro_hop.conf#a1: a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = netcat al.sources.r1.bind = localhost a1.sources.r1.port = 4...原创 2018-12-09 00:14:00 · 371 阅读 · 0 评论 -
flume笔记(四) Channal
flume原理memory channel(内存通道):配置memory.conf:a1.sources = r1a1.channels = c1a1.sinks = k1a1.channels.c1.type = memorya1.channels.c1.capacity = 10000a1.channels.c1.transactionCapacity = 10000...原创 2018-12-09 00:25:12 · 330 阅读 · 0 评论