![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
Lion
这个作者很懒,什么都没留下…
展开
-
hadoop 的 shuffle 过程
hadoop 的 shuffle 过程 huffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火,所以在这里我尽最大的可能试着把Shuffle说清楚,让每一位想了解它原理的朋友都能有原创 2020-10-12 17:21:27 · 514 阅读 · 0 评论 -
hadoop 的组件有哪些?Yarn的调度器有哪些?
hadoop 的组件有哪些 common、HDFS、MapReduce、YARN common(工具类): 包括Hadoop常用的工具类,由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务,并为运行在该平台上的软件开发提供了所需的API。 Hadoop Distributed File System(HDFS) Hadoop实现了一个分布式的文原创 2020-10-12 16:39:42 · 471 阅读 · 0 评论