Flume

一、Flume基础部分

Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具。

数据大概分为三类：

1、日志数据--文本文档

2、业务数据--各种数据库

3、第三方数据--买的，别人给的、爬取的

1、Flume的简介

flume 其实就是水管  数据起始就是水，将水引入到不同的容器中

Sqoop -- 一般用于采集数据库中的数据
Flume -- 一般采集我们的日志数据   user.logFlume 其实可以看做一个水管。一头接着水源，一头接着桶，从水源地抽取数据到桶里去。

2、flume的数据模型

- 单一数据模型 只有一个Agent

- 多数据流模型