hadoop
qq_38980688
这个作者很懒,什么都没留下…
展开
-
hadoop3.1.1 优化之slowstart(源码分析)
本文探讨的参数是:mapreduce.job.reduce.slowstart.completedmaps关于此参数的介绍hadoop 3.1.1中mapred-default.xml中关于此参数的介绍如下:mapreduce.job.reduce.slowstart.completedmaps 0.05 (默认值) Fraction of the number of maps in the job which should be complete befor原创 2020-05-22 00:22:23 · 581 阅读 · 0 评论 -
Hadoop Rpc解析
hadoop Rpc概述Hadoop的RPC使用了两种RPC引擎:WritableRpcEngine和ProtobufRpcEngine。RPC的包格式如下所示:由两部分组成:RpcRequestHeader和RpcRequest。若是使用ProtobufRpcEngine的引擎,格式如下: 4字节总长度 RpcRequestHeader长度(可变长) ...原创 2020-03-12 19:42:55 · 344 阅读 · 0 评论