2020-11-12

大数据生态系统
MapReduce属于Hadoop生态体系之一，Spark属于BDAS生态体系之一。
目前Hadoop有两种版本：Apache和CDH版本
1.Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是由Lucene–Doug Cutting开创的开源软件，用java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎.
2.主要解决，海量数据的存储和海量数据的分析计算问题。
3.广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈
4.Hadoop 是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。
Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。
5.HDFS Hadoop的分布式文件系统。是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。