Spark中对dataframe内重复列求和

前言

在处理dataframe中的字段名是，发现有些字段名在处理后是重复，于是新定义了策略，对这些相同列名的字段进行求和合并
summing the duplicated columns

代码实现

#Hanle Duplicates
from operator import add
from functools import reduce
import collections
original_columns = [...]
columns_after_cleanup=[..