Spark 3.1.1 shuffle fetch 导致shuffle错位的问题
进行了重组(在获得streamHandle的时候内部会根据reduceIdArr构建blocks索引,下文中会说到)会导致和成员变量blockIds的顺序不一致,为什么两者不一致会导致问题呢?所以在以上两种情况下,只要有重新fetch数据的操作,就会存在数据的错位,导致数据的不准确。但是这个和createFetchShuffleBlocksMsg输出的顺序是不一致的,的索引下标,也就是下文中numBlockIds组成的数组下标,这里和上面的一样,只不过对应的方法为。这个方法的作用就是: 构建一个。
原创
2023-02-15 21:42:33 ·
1160 阅读 ·
2 评论