flume
浅汐王
这个作者很懒,什么都没留下…
展开
-
taildir
# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the sourcea1.sources.r1.type = TAILDIRa1.sources.r1.positionFile = /bigdata/flume-1.6.0-cdh5.16.2/taildir_position.jsona1.sources.r1.filegroups =.原创 2020-08-27 08:27:57 · 46506 阅读 · 0 评论 -
收集文件夹的内容到HDFS,按照时间分区
# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the sourcea1.sources.r1.type = spooldira1.sources.r1.spoolDir = /bigdata/testdata/spool_dir # Describe the sinka1.sinks.k1.type = hdfsa1.sinks..原创 2020-08-27 08:28:47 · 46609 阅读 · 0 评论 -
收集文件夹的内容到HDFS(spooldir-memory-hdfs)
# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the sourcea1.sources.r1.type = spooldira1.sources.r1.spoolDir = /bigdata/testdata/spool_dir # Describe the sinka1.sinks.k1.type = hdfsa1.sinks..原创 2020-08-27 08:27:04 · 46255 阅读 · 0 评论 -
收集指定文件的内容到HDFS(exec-memory-hdfs)
选型:source channel sink exec memory hdfs# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the sourcea1.sources.r1.type = execa1.sources.r1.command = tail -F /wangqingguo/bigdata/testda...原创 2020-08-27 08:27:22 · 46274 阅读 · 0 评论 -
netcat-memory-logger(仅供测试)
flume-conf.properties# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444# Describe the sinka1.sinks.原创 2020-08-10 16:09:12 · 65680 阅读 · 0 评论 -
flume中几种常见的source、channel、sink
一、source1、avro source侦听Avro端口并从外部Avro客户端流接收事件。 当与另一个(上一跳)Flume代理上的内置Avro Sink配对时,它可以创建分层集合拓扑。channels – type – The component type name, needs to beavro bind – hostname ...原创 2019-12-24 17:11:04 · 1308 阅读 · 0 评论 -
flume组合模式之高可用配置
这里用5台机搭建flume-HA集群,hosts加入以下内容 192.168.1.71 node01 192.168.1.72 node02 192.168.1.73 node03 192.168.1.74 node04 192.168.1.75 node05 案例说明-Consolidation(结合-高可用) 假设node01、nod...原创 2018-10-11 20:31:23 · 1149 阅读 · 0 评论 -
flume高级配置——数据流的复制、分流、负载均衡、故障转移
一、在前面几篇文章中介绍过几种常见的flume pipeline 场景。我们在回顾一下,主要有一下几种:1、多个 agent 顺序连接:可以将多个Agent顺序连接起来,将最初的数据源经过收集,存储到最终的存储系统中。这是最简单的情况,一般情况下,应该控制这种顺序连接的Agent的数量,因为数据流经的路径变长了,如果不考虑failover的话,出现故障将影响整个Flow上的Agent收...原创 2018-10-11 20:25:51 · 552 阅读 · 0 评论 -
flume串联的简单使用
agent1: exec + memory + avro#gent的名称为"a1" a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = execa1.sources.r1.command = tail -F/opt/data/data.loga1.source原创 2017-12-11 20:35:29 · 539 阅读 · 0 评论 -
log4j输出日志到flume
Log4JAppender和LoadBalancingLog4jAppender可以将应用服务器的日志通过AvroSource实时的把日志传输到日志服务器,然后在传输到监控系统或者是HDFS中存储,FLume的Log4JAppender和LoadBalancingLog4jAppender必须使用Log4j的异步加载器,否则日志服务器down机,将会导致应用服务器异常,影响线上环境的使用。 应原创 2017-12-11 20:35:50 · 189 阅读 · 0 评论