Flume
猛肝自然强
这个作者很懒,什么都没留下…
展开
-
flume一个聚合的配置文件记录
flume1-logger-flume.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command = tail -F /opt/module/group.log a1.sources.r1.shell = /bin/bash -c.原创 2020-08-27 15:52:58 · 135 阅读 · 0 评论 -
flume一个负载均衡和故障转移的配置文件记录
Flume-1:flume-file-flume.conf: a1.sources = r1 a1.channels = c1 a1.sinks = k1 k2 a1.sinkgroups = g1 #配置sink processor a1.sinkgroups.g1.processor.type = failover #配置sink优先级 a1.sinkgroups.g1.processor.priority.k1 = 5 a1.sinkgroups.g1.processor.priority.k2 .原创 2020-08-27 12:37:29 · 154 阅读 · 0 评论 -
flume一个复制和多路复用的配置文件记录
Flume-1:flume-file-flume.conf: a1.sources = r1 a1.channels = c1 c2 a1.sinks = k1 k2 # 配置一个选择器为复制 a1.sources.r1.selector.type = replicating #配置sources a1.sources.r1.type = exec a1.sources.r1.command = tail -F /opt/module/hive/logs/hive.log a1.sources.r.原创 2020-08-27 11:50:14 · 214 阅读 · 0 评论 -
Flume常用组件配置记录
Flume基础架构 1.1 Agent Agent是一个JVM进程,它以事件的形式将数据从源头送至目的。 Agent主要有3个部分组成,Source、Channel、Sink。 官网示例的配置:Source 使用了netcat,sink使用了 logger,channel 使用 memory。 # example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.s原创 2020-08-26 08:14:48 · 214 阅读 · 0 评论