实践求真知

一 Flume简介二 Flume设计目标三 类似大数据产品比较四 参考http://www.jikexueyuan.com/course/2630.html

一 flume简介收集日志工具。分布式、可靠性、可用于收集、聚集、移动大量日志。流计算agent：代理source：源头channel：管道sink：沉槽二 优势1 可用存储数据到任何集中式存储设备中。2 在数据源头和存储之间协调速率。3 上下文路由支持。4 维护两个事务，在sender和receiver，确保消息被可靠分发。5 Flume是可靠的、容错的、可扩展的、可管理的、可定制的。三 Flu

一 通过java程序创建zk节点flume/a1,其中内容是配置文件的内容package com.cakin.zookerper;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import org.I0Itec.zkclient.ZkClien

一 通用配置说明#配置agent的sourceagent.sources = seqGenSrc#配置agent的通道agent.channels = memoryChannel#配置agent的sinkagent.sinks = loggerSink# sourceagent.sources.seqGenSrc.type = seqagent.sources.seqGe

一 解压tar xzfv apache-flume-1.7.0-bin.tar.gz二 修改配置文件flume-conf.confa1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = execa1.sources.r1.command = tail -F /opt/apache-flume-1.7.

一 配置文件r_avro.confa1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = avroa1.sources.r1.bind =0.0.0.0a1.sources.r1.port= 4141a1.sinks.k1.type = loggera1.channels.c1.type = memo

一 准备配置文件r_spooldir.confa1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = spooldira1.sources.r1.spoolDir=/opt/apache-flume-1.7.0-bin/flumeSpoola1.sources.r1.fileHeader= truea1.

一 启动Zookeeper和Hbasemaster节点[root@master flumeSpool]# jps4513 HRegionServer4196 ResourceManager4661 Jps3752 QuorumPeerMain3916 NameNodeslave1节点[root@slave1 ~]# jps2560 QuorumPeerMain3009

一 配置拓扑二 配置k_avro.conf#########a1 agent#####a1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = netcata1.sources.r1.bind=mastera1.sources.r1.port=8888a1.channels.c1.type