- 博客(1)
- 资源 (8)
- 收藏
- 关注
原创 shuffle过程
1、一个大文件需要处理,它在在HDFS上是以block块形式存放,每个block默认为128M存3份,运行时每个map任务会处理一个split,如果block大和split相同,有多少个block就有多少个map任务,所以对整个文件处理时会有很多map 任务进行并行计算; 2、每个map任务处理完输入的split后会把结果写入到内存的一个环形缓冲区,写入过程中会进行简单排序,它的默
2017-12-05 16:40:57 260
AICon2018-《知乎 News Feed 中的机器学习实践》-张瑞
2018-01-18
AICon2018-《如何利用大规模机器学习技术解决问题并创造价值》-胡时伟
2018-01-18
AICon2018-《AI驱动下的移动输入革新之路》-姚从磊
2018-01-18
AICon2018-《深度学习在图像理解中的应用》-张俊林
2018-01-18
AICon2018-《深度学习在图像理解中的应用》-熊鹏飞
2018-01-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人