Flume
一只小菜鸟(* ̄︶ ̄)
这个作者很懒,什么都没留下…
展开
-
Flume 安装
flume 收集、移动、聚合大量日志数据的服务。 基于流数据的架构,用于在线日志分析。 基于事件。 在生产和消费者之间启动协调作用。 提供了事务保证,确保消息一定被分发。agent-------------Source :接受数据,生产者,类型有多种。 //put() //...原创 2019-04-23 14:55:38 · 80 阅读 · 0 评论 -
Flume 配置
1.创建配置文件 [/soft/flume/conf/hello.conf] #声明三种组件 a1.sources = r1 a1.channels = c1 a1.sinks = k1 #定义source信息 a1.sources.r1.type=netcat a1.sources.r1.bind=localhost a1.sources.r1.port=8888 #定...原创 2019-04-23 14:58:00 · 84 阅读 · 0 评论 -
Flume source
1.netcat2.exec 实时日志收集,实时收集日志。a1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type=execa1.sources.r1.command=tail -F /home/centos/test.txta1.sinks.k1.type=loggera1.channe...原创 2019-04-23 15:01:17 · 137 阅读 · 0 评论 -
Flume 使用avroSource和AvroSink实现跃点agent处理
1.创建配置文件 [avro_hop.conf]#a1 a1.sources = r1 a1.sinks= k1 a1.channels = c1 a1.sources.r1.type=netcat a1.sources.r1.bind=localhost a1.sources.r1.port=8888 a1.sinks.k1.type = a...原创 2019-04-23 15:06:49 · 438 阅读 · 0 评论 -
Flume channel
1.MemoryChannel2.FileChannela1.sources = r1a1.sinks= k1a1.channels = c1a1.sources.r1.type=netcata1.sources.r1.bind=localhosta1.sources.r1.port=8888a1.sinks.k1.type=loggera1.channels.c1....原创 2019-04-23 15:08:01 · 106 阅读 · 0 评论 -
Flume pom
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.a...原创 2019-04-23 15:08:57 · 486 阅读 · 0 评论