- Hadoop 元老级的分布式海量数据存储处理系统,擅长离线数据分析
- Hbase 基于Hadoop的分布式海量数据库,离线和在线通吃
- Hive sql 基于Hadoop的数据仓库工具,使用方式类似sql
- Zookeeper 分布式系统的集群协调服务
- Sqoop 是Hadoop 和传统关系型数据库之间数据互导
- Flume 数据采集框架
- Storm 实时流式计算框架,首选框架
- Spark 基于内存的分布式运算框架,一站式处理all in one
Spark core
Spark Sql
Spark Streaming
- 机器学习
Mahout 基于Mapreduce的机器学习算法库
MLLib 基于Spark 机器学习的算法库
学习建议
1、了解框架的功能和使用场景
2、使用(安装部署,编程规范,api)
3、运行机制
4、内部结构和原理
5、源码