Hadoop与大数据的预处理

1.Hadoop的生态集群
Ambair(安装 部署 配置 管理)；Zookeeper（协作）；HBbase（列式数据库）；Hive（数据仓库）；Pig（数据流）；Mahout（数据挖掘）；Flume（日志收集）；MapReduce（分布式计算）；HDFS（分布式文件系统）sqoop（ETL工具）

深入学习参考此博文

2.大数据的预处理
（1）数据清洗
（2）数据集成
（3）数据变换
（4）数据规约