2020-11-10

Hadoop 是大规模并行执行框架，把超级计算机的能力带给大众，致力于加速企业级应用的执行。由于 Hadoop 提供如此广泛的功能，可以适用于解决大量问题，也可以说，Hadoop 是基础框架。Hadoop 提供所有这些功能，因此应该将 Hadoop 归类为一个生态系统，它包含大量的组件，从数据存储到数据集成、数据处理以及数据分析师的专用工具。
hadoop2.0它是基于YARN框架构建的。YARN的全称是Yet-Another-Resource-Negotiator。Yarn可以运用在S3|Spark等上。
新技术：传统方式与技术无法处理大量、种类繁多的数据，需要新的技术解决新的问题。
HDFS
它是由Google File System而来，全称是Hadoop Distributed File System，是Hadoop的分布式文件系统，有许多机器组成的，可以存储大型数据文件。
大数据生态体系主要产品原理与架构
大数据领域不只有Hadoop，还有数据仓库Hive、NoSQL系统HBase、计算引擎Spark、流计算引擎Storm、Flink，以及分布式一致性解决方案ZooKeeper等，它们构成了一个完整的大数据生态体系，解决各种场景下的不同问题。