在一对多的数据中清除未重复的行数据

from collections import Counter
import pandas as pd

方法一: 读取excel文件.将两列数据以键值对的形式保存为字典

df = pd.DataFrame(pd.read_excel('work.xlsx',header=0))
item = {}
for d in df.values:
item.update({str(d[0]):d[1]}) # 第一列的数据为数字.需要转化为字符串

count = Counter(item.values())  # 使用Counter模块计算第二列的数据出现的次数

for ct in count.keys():
	if count[ct] <2:
        for i in item.keys():
            if ct == item[i]:
                del item[i]
                break  # 加入break防止字典迭代错误
print(item)

方法二: 以标题-内容为键值对进行处理

import pandas as pd
from collections import Counter

df = pd.read_excel('work.xlsx')
test_data=[]
for i in df.index.values:#获取行号的索引，并对其进行遍历：
    #根据i来获取每一行指定的数据 并利用to_dict转成字典
    row_data=df.ix[i,['标注人','article_url']].to_dict()
    test_data.append(row_data)
# print("最终获取到的数据是：{0}".format(test_data))

ct = Counter([item['article_url'] for item in test_data])

# print(test_data)

item = []
for k,v in ct.items():
    if v>1:
        # print(k,v)
        for i in test_data:
            # print(i)
            # print(len(i))
            if i['article_url'] ==k:
                i.update(eval("{'count':v}"))  #将url的重复数量转换为字典添加进去
                item.append(i)
for a in item:
        print(a)

方法二更易于添加数据以及转换为其它需要的格式