数据采集工具 Flume 的使用
1. 数据采集工具产生背景
Hadoop 的一般整体开发流程:
任何完整的大数据平台,一般都会包括以下的基本处理过程:
- 数据采集(必不可少):
- 数据源多种多样
- 数据量大,变化快
- 如何保证数据采集的可靠性的性能
- 如何避免重复数据
- 如何保证数据质量
- 数据 ETL
- 数据存储
- 数据计算/分析
- 数据展现
数据源⼤体上包括:
- 业务数据
- 爬取的⽹络公开数据
- 购买数据
- ⾃定采集⽇志数据
2. Flume 简介
Apache Flume 是一个分布式的、可靠、高可用的海量日志采集、聚合和传输的系统,支持在系统中定制各类的数据发送方,用于采集数据,同时 Flume 提供对数据的简单处理,并写到各种数据接收方的能力。Flume 和 Sqoop 同属于数据采