1.mapreduce:映射-归约
映射:分布式计算
归约:统计处理
2.任务调度常见问题:
数据locality:给包含该instance最多数据的节点去计算
数据shuffle:
重试:当慢于平均时间触发机制,给另一个节点计算(因为异构)
1.mapreduce:映射-归约
映射:分布式计算
归约:统计处理
2.任务调度常见问题:
数据locality:给包含该instance最多数据的节点去计算
数据shuffle:
重试:当慢于平均时间触发机制,给另一个节点计算(因为异构)