日志收集系统Flume调研笔记第1篇 - Flume简介

用户行为数据的收集无疑是构建推荐系统的先决条件，而Apache基金会下的Flume项目正是为分布式的日志收集量身打造的，本文是Flume调研笔记的第1篇，主要介绍Flume的基本架构，下篇笔记将会以实例说明Flume的部署和使用步骤。

本文所用的Flume版本为目前最新版的ver1.5.2，它属于Flume-NG，在系统架构上与Flume-OG有所区别，二者的不同可以参考FlumeWiki文档的说明。

1. Flume是什么

Flume是Apache基金会下的一个开源项目，它实现了一套分布式的、可靠且高可用系统，用于高效地收集、聚合或移动来自不同源的大量日志数据（典型如来自多台WebServer的日志），并支持将这些数据统一写入通用存储系统（典型如HDFS）。

2. Flume的适用场景

Flume最典型的应用场景就是聚合来自不同源的日志数据并将这些数据集中写入统一的存储系统（如HDFS或Kafka）。在涉及到流式计算的应用中（如实时推荐系统），我们经常会看到Flume的身影。

Flume接受的输入被称为"event data"。对于Flume来说，"event"就是一堆字节流（To Flume, an event is just a generic blob of bytes. 出自官方文档Flume User Guide），所以，除纯文本数据外，"event data"还支持2进制数据，如图片、网络流（network traffic）等。

但需要注意的是，Flume支持的event数据有大小限制，单个event data不能大于部署Flume系统的机器的内存或磁盘，好在正常模块产生的单条数据应该不会超过这个物理限制。

根据官方推荐的