理解Hadoop与Hadoop生态的区别与联系

---

一、Hadoop是什么？

1、Hadoop狭义是框架，广义是生态圈
2、Hadoop框架，java语言实现开源软件框架，是开发和运行处理大规模数据的软件平台
3、Hadoop生态圈，当下的Hadoop已经成长为一个庞大的体系，随着生态系统的成长，新出现的项目越来越多，其中包含一些非Apache主管的项目，这些项目对HADOOP是很好的补充或者更高层的抽象

Hadoop开源框架核心组件
1、HDFS（分布式文件系统）：解决海量数据存储
2、YARN（作业调度和集群资源管理的框架）：解决资源任务调度
3、MAPREDUCE（分布式运算编程框架）：解决海量数据计算

二、Hadoop生态是什么？

1、PIG、HIVE：基于HADOOP的分布式数据仓库，提供基于SQL的查询数据操作
2、Apache Drill：用真正的SQL查询实现数据查询，并支持多数据NoSQL数据源
3、Spark：将数据处理过程放在内存中进行，速度更快
4、HBASE：基于HADOOP的分布式海量数据库
5、ZOOKEEPER：分布式协调服务基础组件
6、Mahout、Spark MLlib：基于mapreduce/spark/flink等分布式运算框架的机器学习算法库
7、OOZIE：工作流调度框架，任务调度工具，可以定时处理数据等
8、Sqoop：数据导入导出工具（如用于mysql和HDFS之间）
9、FLUME：日志数据采集框架
10、IMPALA：基于hive的实时sql查询分析
11、Solr & Lucene：检索和索引工具
12、Ambari： 对分布式集群的管理工具，包括监视，维护等