1、Distinct是transformation算子,不是action算子。
2、Distinct的去重,是当key与value都一样的时候,会被当做重复的数据。
也就是说,有多条key和value都相同的数据在执行完distincct之后,只会保留1条。
原文地址:https://blog.csdn.net/wyqwilliam/article/details/82110860
1、Distinct是transformation算子,不是action算子。
2、Distinct的去重,是当key与value都一样的时候,会被当做重复的数据。
也就是说,有多条key和value都相同的数据在执行完distincct之后,只会保留1条。
原文地址:https://blog.csdn.net/wyqwilliam/article/details/82110860