![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 65
小猿天地
大数据的菜鸟想飞
展开
-
Hadoop小文件的优化方案
分析Hadoop小文件过多带来的危害,以及解决小文件的方法。原创 2022-10-21 00:03:31 · 1427 阅读 · 0 评论 -
Hadoop压缩方式介绍
hadoop压缩方式介绍,gzip\bzip2\snappy\lzo原创 2022-10-16 22:27:43 · 1672 阅读 · 0 评论 -
Hadoop 之 Shuffle 机制详解
目录Hadoop 之 Shuffle 机制详解Shulffle 含义Shuffle 图解官方图解简化图解Shuffle详解Map 溢写溢出数据Reduce 拉取数据Hadoop 之 Shuffle 机制详解Shulffle 含义在 Hadoop 中数据从 Map 阶段传递给 Reduce 阶段的过程叫 Shuffle,Shuffle 是 整个 MapReduce 框架中最核心的部分。Shuffle 将数据从 Map 阶段输入到 Reduce 阶段的过程,所以 Shuffle 的 作用范围是Map阶原创 2022-01-06 22:40:58 · 3403 阅读 · 0 评论