1.场景1
1.1 概述
flink on hive 批处理,关联了一个字典表,flink sql做的,然后报错如下
Caused by: java.lang.RuntimeException: Hash join exceeded maximum number of recursions, without reducing partitions enough to be memory resident. Probably cause: Too many duplicate keys.
本文版权归九师兄所有 https://blog.csdn.net/qq_21383435/article/details/116044097 ,请勿转载
这段话的意思是 哈希连接超过了最大的递归数量,而没有减少足够多的分区来驻留内存。可能原因:重复的键太多
。
1.2 解决
经过分析。我仔细看了下,是因为维表里有很多重复数据,把维表数据去重就好了。