Hadoop是一个可靠的、高效的、可伸缩的大数据处理框架，包括HDFS、YARN和MapReduce等核心组件。HDFS作为分布式文件系统，提供数据存储；YARN负责资源调度；MapReduce用于分布式计算。此外，Hadoop生态还包括Hive、Hbase、Zookeeper、Sqoop、Pig、Mahout和Flume等工具，分别用于数据仓库、列式数据库、协作服务、数据同步、数据流处理、数据挖掘和日志收集。
概况
Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。
1.HDFS（Hadoop分布式文件系统）
简介：源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版。是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。
特点：扩展性&容错性&海量数据存储
最低0.47元/天 解锁文章
扫一扫
924
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
