【Flink】Flink 报错 Hash join exceeded Too many duplicate keys

1.场景1

1.1 概述

flink on hive 批处理，关联了一个字典表，flink sql做的，然后报错如下

Caused by: java.lang.RuntimeException: Hash join exceeded maximum number of recursions, without reducing partitions enough to be memory resident. Probably cause: Too many duplicate keys.

本文版权归九师兄所有 https://blog.csdn.net/qq_21383435/article/details/116044097 ，请勿转载

这段话的意思是 哈希连接超过了最大的递归数量，而没有减少足够多的分区来驻留内存。可能原因:重复的键太多。

1.2 解决

经过分析。我仔细看了下，是因为维表里有很多重复数据，把维表数据去重就好了。