大数据生态体系介绍

• Hadoop 元老级的分布式海量数据存储处理系统，擅长离线数据分析
• Hbase 基于Hadoop的分布式海量数据库，离线和在线通吃
• Hive sql 基于Hadoop的数据仓库工具，使用方式类似sql
• Zookeeper 分布式系统的集群协调服务
• Sqoop 是Hadoop 和传统关系型数据库之间数据互导
• Flume 数据采集框架
• Storm 实时流式计算框架，首选框架
• Spark 基于内存的分布式运算框架，一站式处理all in one

Spark core

Spark Sql

Spark Streaming

• 机器学习

Mahout 基于Mapreduce的机器学习算法库

MLLib 基于Spark 机器学习的算法库

学习建议

1、了解框架的功能和使用场景

2、使用（安装部署，编程规范，api）

3、运行机制

4、内部结构和原理

5、源码