python concat去除重复值语句_具有重复列的Concat数据帧

我有一个数据帧序列看起来像这样-a b r

1 43 630 587

d b c

1 34 30 87

我想创建一个新的数据帧，它看起来像-

^{pr2}$

我用了密码-appended_data= pd.concat(appended_data, axis=0)

其中，附加的“数据”列表包含单个数据帧系列作为元素。

以前当我将它与其他数据集一起使用时，它没有抛出任何错误，但是对于新的数据集，它显示了ValueError: Plan shapes are not aligned

注意，以前的数据集也有重复的列，而且它运行良好，我也进行了更新熊猫。这些是我在网上找到的解决方案。在

完整代码-dir_list = [benign_freq_dir,malign_freq_dir]

appended_data = []

for l in dir_list:

for root, dirs, files in os.walk(l):

#print(root)

for name in files:

file = open(root+"/"+name,'r')

print(name)

print("\n")

df = pd.read_csv(file,header=None,error_bad_lines=False) #In windows and python3 always pass file object not the path directly in pd.read_csv

#print(df)

<