Hadoop 是大规模并行执行框架,把超级计算机的能力带给大众,致力于加速企业级应用的执行。由于 Hadoop 提供如此广泛的功能,可以适用于解决大量问题,也可以说,Hadoop 是基础框架。Hadoop 提供所有这些功能,因此应该将 Hadoop 归类为一个生态系统,它包含大量的组件,从数据存储到数据集成、数据处理以及数据分析师的专用工具。
hadoop2.0它是基于YARN框架构建的。YARN的全称是Yet-Another-Resource-Negotiator。Yarn可以运用在S3|Spark等上。
新技术:传统方式与技术无法处理大量、种类繁多的数据,需要新的技术解决新的问题。
HDFS
它是由Google File System而来,全称是Hadoop Distributed File System,是Hadoop的分布式文件系统,有许多机器组成的,可以存储大型数据文件。
大数据生态体系主要产品原理与架构
大数据领域不只有Hadoop,还有数据仓库Hive、NoSQL系统HBase、计算引擎Spark、流计算引擎Storm、Flink,以及分布式一致性解决方案ZooKeeper等,它们构成了一个完整的大数据生态体系,解决各种场景下的不同问题。
2020-11-10
最新推荐文章于 2024-03-07 17:44:44 发布