问题 :
hive on spark任务报错Reduce operator initialization failed
语句 :
报错 :
解决 :
默认开启了hive.auto.convert.join,但是实际小表大小是hive.mapjoin.smalltable.filesize(默认25M,小表不会超过25M),sql中大量的 join,可能小表超过25M
可以看到JVM Max Heap Size大小为:3817865216(大约3G)
将hive.auto.convert.join设置成false,关闭优参数即可