大数据生态系统
MapReduce属于Hadoop生态体系之一,Spark属于BDAS生态体系之一。
目前Hadoop有两种版本:Apache和CDH版本
1.Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是由Lucene–Doug Cutting开创的开源软件,用java书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎.
2.主要解决,海量数据的存储和海量数据的分析计算问题。
3.广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈
4.Hadoop 是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。
Hadoop的核心是HDFS和Mapreduce,hadoop2.0还包括YARN。
5.HDFS Hadoop的分布式文件系统。是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统,能检测和应对硬件故障,用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型,通过流式数据访问,提供高吞吐量应用程序数据访问功能,适合带有大型数据集的应用程序。
2020-11-12
最新推荐文章于 2024-06-26 21:49:41 发布