- 博客(1)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Spark知识点补充
1.shuffle操作 Shuffle是MapReduce框架中的一个特定的phase，介于Map phase和Reduce phase之间，当Map的输出结果要被Reduce使用时，输出结果需要按key哈希，并且分发到每一个Reducer上去，这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 2.S
2016-08-30 19:27:48
478
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人