hadoop
文章平均质量分 91
hi蜗牛慢跑
挑战,勇气,信心
展开
-
mapreduce 作业中 map/reduce 个数的计算
1. 问题描述 当在hadoop集群提交mapreduce作业时,map 和 reduce 的个数是如何计算的? 2. map个数的计算 2.1 map个数的计算和分片大小(splitSize)是有关系的,所以我们先看看splitSize的计算公式: long splitSize = Math.max(minSize, Math.min(maxSize, blo...原创 2018-10-08 16:59:40 · 5766 阅读 · 0 评论 -
hadoop作业运行机制
1.前沿hadoop环境是cdh5.13 ,使用yarn作为资源管理器2. 步骤详情 2.1 作业提交当调用job.submit()/job.waitForCompletion() 时,向资源管理器请求一个应用ID,作为MapReduce作业ID 根据程序配置的输入路径,计算作业的分片大小(该分片大小决定了map个数,map个数以及reduce个数 计算方式 见另一...原创 2018-10-08 17:07:54 · 461 阅读 · 0 评论