![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 69
XuTengRui
这个作者很懒,什么都没留下…
展开
-
MapReduce环形缓冲区MapOutputBuffer,kvBuffer代码原理分析
原文链接:https://blog.csdn.net/weixin_43955361/article/details/110628886环形缓冲区相关类和属性说明MapTask$MapOutputBuffer默认的环形缓冲区类,可以通过job配置文件的参数mapreduce.job.map.output.collector.class进行设置。sorter默认的排序类,可以通过job配置文件参数map.sort.class进行设置,此类必须是IndexedSorter类的子类。转载 2021-07-19 21:51:30 · 591 阅读 · 0 评论 -
通俗易懂的HDFS读写流程,赶紧收藏吧
HDFS读流程 client跟namenode通信查询元数据,namenode通过查询元数据,找到文件块所在的datanode服务器 挑选一台datanode(就近原则,然后随机)服务器,请求建立socket流 datanode开始发送数据(从磁盘里面读取数据放入流,以packet为单位来做校验,大小为64k) 客户端以packet为单位接收,现在本地缓存,然后写入目标文件 HDFS写流程 客户端跟namenode通信请求上传文件,nam..转载 2021-07-13 17:39:19 · 159 阅读 · 0 评论