m0_58076578的博客

Hadoop是一个分布式计算平台，能够允许使用编程模型在集群上对大型数据集进行分布式处理，主要解决海量数据的存储和海量数据的分析计算 问题。HDFS（分布式文件存储平台）：用于存储大规模数据。MapReduce（计算引擎）：用于数据的并行处理。YARN（资源调度平台）：用于资源管理和任务调度。以上是对Hadoop基础知识的简要介绍。Hadoop作为大数据处理的核心技术之一，其高扩展性、低成本和高效率使其在大数据领域得到了广泛应用。

HDFS是一个高容错、高可靠性、高可扩展性、高吞吐率的分布式文件存储系统，负责海量数据的存储。

Combiner是在Map阶段之后，Reduce阶段之前，对Map输出的中间数据进行本地合并和压缩，减少数据传输量，提高整体性能。Combiner可以将相同Key的多个Map输出结果进行合并，减少网络传输的数据量，降低Reduce的负载，提高效率。Hadoop的块默认大小是128MB。在Hadoop 1.x和2.x版本中默认为64MB。则是将字节流重新转换成数据的过程，以便在各个节点之间传输时恢复原始数据。是将数据转换为字节流的过程，以便在网络传输或存储时占用更少的空间。