实践求真知

一 Flume简介二 Flume设计目标三 类似大数据产品比较四 参考http://www.jikexueyuan.com/course/2630.html

一 flume简介收集日志工具。分布式、可靠性、可用于收集、聚集、移动大量日志。流计算agent：代理source：源头channel：管道sink：沉槽二 优势1 可用存储数据到任何集中式存储设备中。2 在数据源头和存储之间协调速率。3 上下文路由支持。4 维护两个事务，在sender和receiver，确保消息被可靠分发。5 Flume是可靠的、容错的、可扩展的、可管理的、可定制的。三 Flu

一 通过java程序创建zk节点flume/a1,其中内容是配置文件的内容 package com.cakin.zookerper; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import org.I0Itec.zkclient.ZkClien

一 通用配置说明 #配置agent的source agent.sources = seqGenSrc #配置agent的通道 agent.channels = memoryChannel #配置agent的sink agent.sinks = loggerSink # source agent.sources.seqGenSrc.type = seq agent.sources.seqGe

一 解压 tar xzfv apache-flume-1.7.0-bin.tar.gz 二 修改配置文件flume-conf.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = exec a1.sources.r1.command = tail -F /opt/apache-flume-1.7.

一 配置文件r_avro.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = avro a1.sources.r1.bind =0.0.0.0 a1.sources.r1.port= 4141 a1.sinks.k1.type = logger a1.channels.c1.type = memo

一 准备配置文件r_spooldir.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = spooldir a1.sources.r1.spoolDir=/opt/apache-flume-1.7.0-bin/flumeSpool a1.sources.r1.fileHeader= true a1.

一 启动Zookeeper和Hbase master节点 [root@master flumeSpool]# jps 4513 HRegionServer 4196 ResourceManager 4661 Jps 3752 QuorumPeerMain 3916 NameNode slave1节点 [root@slave1 ~]# jps 2560 QuorumPeerMain 3009

一 配置拓扑 二 配置k_avro.conf #########a1 agent##### a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = netcat a1.sources.r1.bind=master a1.sources.r1.port=8888 a1.channels.c1.type