源码阅读
文章平均质量分 50
源码阅读系列
编程理想国
这个作者很懒,什么都没留下…
展开
-
【源码阅读】HDFS FileSystem的创建
HDFS Client源码阅读 FileSystem的创建过程 完整代码流程如图 fs = FileSystem.get(uri, conf, user); 通过FileSystem.get(uri,conf,user)方法获取FileSystem实例。 get(uri,conf,user)方法首先验证Kerberos认证 获取用户组信息 调用FileSystem.get(uri,conf)获取FileSystem实例 FileSystem.get(uri,conf); 获取schema和授权原创 2021-08-25 16:14:16 · 349 阅读 · 0 评论 -
ReduceTask工作机制与MapReduce分区
ReduceTask工作机制与MapReduce分区 ReduceTask工作机制 copy阶段:将Map任务的结果拉取到reduce节点 merge阶段:将所有Map任务的结果进行合并 sort阶段:对合并后的结果进行归并排序 reduce方法:对排序后的结果按key调用reduce方法 ReduceTask并行度 ReduceTask的数量可以手动设置: job.setNumReduceTasks(2); Tips:: ReduceTask=0,表示没有Reduce阶段 ReduceTask默认原创 2020-10-09 22:07:45 · 290 阅读 · 0 评论 -
【Hadoop】MapTask运行机制
MapTask运行机制 MapTask流程 Tips: Mr切片是逻辑切分,HDFS的分块是物理切分 split与block是一对一的关系 map阶段所有的排序都是针对key进行排序,不会针对value 流程分析: TextInputFormat读取文件,并调用getSplits()函数对文件进行逻辑分片,一个split对应一个block RecordReader读取一个split,调用一次map函数,并将结果输出到环形缓冲区 缓冲区内部对结果进行分区(partition),分区规则是key的has原创 2020-10-07 18:15:27 · 204 阅读 · 0 评论 -
java.lang.Object类源码阅读
java.lang.Object类 写在前面:Object类是所有类的父类,源码中并没有很多内容,很多方法都是调用的底层c/c++函数,因此主要阅读注释。 1.registerNatives() /** * static 类方法 * native 调用c/c++的函数 */ private static native void registerNatives(...原创 2019-11-08 19:46:11 · 190 阅读 · 0 评论