- 博客(1)
- 收藏
- 关注
原创 Spark Pipeline管道计算模式
之前学习spark的时候很多资料介绍Spark Pipeline管道计算模式就是说类似水的管道一样,一条数据计算除了结束后,再进行下一条数据的处理。问题来了,如果一个job有很多个stage,每个stage会有很多个task任务。那么这个一条数据有怎么处理呢?引用一下美团调优化资料的一段话,看完后对上述的问题更加懵逼了。然后就写了一段代码进行测试。美团调优化资料-----我们...
2019-09-04 20:07:59 631
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人