![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
Yohohaha
这个作者很懒,什么都没留下…
展开
-
hadoop partitioner类加载分析
在hadoop中,在map方法结束写出数据的时候需要对数据进行分区,具体分区实现由Partitioner类提供,而Partitioner类的加载逻辑如下: partitions = jobContext.getNumReduceTasks(); if (partitions > 1) { // 设置的分区数(即reduce task的个数)大于1,则使用设置的分区类 partitioner = (org.apache.hadoop.mapreduce.Partitioner<K,V>原创 2020-09-11 17:40:27 · 264 阅读 · 0 评论 -
hadoop mapreduce加载ClientProtocol(JobRunner)方法解析
hadoop mapreduce加载ClientProtocol(JobRunner)使用了spi机制,具体方法在Cluster#initialize。它会使用frameworkLoader加载ClientProtocolProvider,在hadoop的jar包里配置了两个实现类: org.apache.hadoop.mapred.YarnClientProtocolProvider,配置文件见~\.m2\repository\org\apache\hadoop\hadoop-mapreduce-cli原创 2020-09-06 10:48:14 · 355 阅读 · 0 评论