![](https://i-blog.csdnimg.cn/direct/220d47cba0ec4b6fbd3962619f770f30.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
欢迎来到我们的 Hadoop 专栏!在这里,我们将深入探索 Hadoop 这一开源分布式计算框架,帮助您理解它的核心概念和实际应用。
Hadoop 是处理大规模数据集的强大工具,基于分布式计算模型。它由两个主要组件组成:Hadoop 分布式文件系统 (HDFS) 和 MapReduce。这些组件共
Data 317
大数据领域优秀创作者
展开
-
Hadoop基础
Hadoop是一个分布式计算平台,能够允许使用编程模型在集群上对大型数据集进行分布式处理,主要解决海量数据的存储和海量数据的分析计算 问题。HDFS(分布式文件存储平台):用于存储大规模数据。MapReduce(计算引擎):用于数据的并行处理。YARN(资源调度平台):用于资源管理和任务调度。以上是对Hadoop基础知识的简要介绍。Hadoop作为大数据处理的核心技术之一,其高扩展性、低成本和高效率使其在大数据领域得到了广泛应用。原创 2024-09-10 12:57:55 · 420 阅读 · 0 评论 -
Hadoop生态圈拓展内容(一)
HDFS是一个高容错、高可靠性、高可扩展性、高吞吐率的分布式文件存储系统,负责海量数据的存储。原创 2024-09-11 23:03:14 · 611 阅读 · 0 评论 -
Hadoop生态圈拓展内容(二)
Combiner是在Map阶段之后,Reduce阶段之前,对Map输出的中间数据进行本地合并和压缩,减少数据传输量,提高整体性能。Combiner可以将相同Key的多个Map输出结果进行合并,减少网络传输的数据量,降低Reduce的负载,提高效率。Hadoop的块默认大小是128MB。在Hadoop 1.x和2.x版本中默认为64MB。则是将字节流重新转换成数据的过程,以便在各个节点之间传输时恢复原始数据。是将数据转换为字节流的过程,以便在网络传输或存储时占用更少的空间。原创 2024-09-11 23:04:58 · 457 阅读 · 0 评论