初识flume

1.它是什么东西

2.它能干些什么

3.flume-og和flume-ng的区别是什么

4.实际例子

1.引用官方语言 它是个什么东西

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分

2.它能干些什么

其实上面说它是什么的时候就介绍了，他能做些什么，说白了就是数据的传输，从一个位置传到另一个位置，中间我们可以做一些其它的数据处理。

3.flume-og和flume-ng的区别是什么

Flume-og采用了多Master的方式。为了保证配置数据的一致性，Flume引入了ZooKeeper，用于保存配置数据，ZooKeeper本身可保证配置数据的一致性和高可用，另外，在配置数据发生变化时，ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据。

Flume-ng最明显的改动就是取消了集中管理配置的 Master 和 Zookeeper，变为一个纯粹的传输工具。Flume-ng另一个主要的不同点是读入数据和写出数据现在由不同的工作线程处理（称为 Runner）。 在 Flume-og 中，读入线程同样做写出工作（除了故障重试）。如果写出慢的话（不是完全失败），它将阻塞 Flume 接收数据的能力。这种异步的设计使读入线程可以顺畅的工作而无需关注下游的任何问题。

4.实际例子

需求：一台机器进行手机日志，一台机器进行日志打印

两台机器Ip：1.192.168.135.1

                    2.192.168.135.2

在第一台机器上的配置：

解压：

tar -zxvf apache-flume-1.5.0-bin.tar.gz

重命名：

mv apache-flume-1.5.0-bin flume

进入配置文件：

cd flume/conf

vi push.conf

# Define a memory channel called ch1 on agent1
           agent1.channels.ch1.type = memory
agent1.sources.avro-source1.type = spooldir
agent1.sources.avro-source1.spoolDir = /tmp/logs
agent1.sources.avro-source1.channels = ch1

agent1.sinks.log-sink1.channel = ch1
agent1.sinks.log-sink1.type = avro
agent1.sinks.log-sink1.port=4444
agent1.sinks.log-sink1.hostname = 192.168.135.2

agent1.channels = ch1
agent1.sources = avro-source1
agent1.sinks = log-sink1

在第二台机器上：

解压：

tar -zxvf apache-flume-1.5.0-bin.tar.gz

重命名：

mv apache-flume-1.5.0-bin flume

进入配置文件：

cd flume/conf

vi pull.conf

agent1.channels.ch1.type = memory
agent1.sources.avro-source1.type=avro
agent1.sources.avro-source1.bind=192.168.135.2
agent1.sources.avro-source1.port=4444
agent1.sources.avro-source1.channels=ch1
agent1.sinks.log-sink1.channel = ch1
agent1.sinks.log-sink1.type = logger
agent1.channels = ch1
agent1.sources = avro-source1
agent1.sinks = log-sink1

测试：新建test.log文件输入信息，cp到/tmp/logs/下看两台机器的输出结果

查看/tmp/logs/下test.log的变化 会变成：test.log.commied