from collections import Counter
import pandas as pd
方法一: 读取excel文件.将两列数据以键值对的形式保存为字典
df = pd.DataFrame(pd.read_excel('work.xlsx',header=0))
item = {}
for d in df.values:
item.update({str(d[0]):d[1]}) # 第一列的数据为数字.需要转化为字符串
count = Counter(item.values()) # 使用Counter模块计算第二列的数据出现的次数
for ct in count.keys():
if count[ct] <2:
for i in item.keys():
if ct == item[i]:
del item[i]
break # 加入break防止字典迭代错误
print(item)
方法二: 以标题-内容为键值对进行处理
import pandas as pd
from collections import Counter
df = pd.read_excel('work.xlsx')
test_data=[]
for i in df.index.values:#获取行号的索引,并对其进行遍历:
#根据i来获取每一行指定的数据 并利用to_dict转成字典
row_data=df.ix[i,['标注人','article_url']].to_dict()
test_data.append(row_data)
# print("最终获取到的数据是:{0}".format(test_data))
ct = Counter([item['article_url'] for item in test_data])
# print(test_data)
item = []
for k,v in ct.items():
if v>1:
# print(k,v)
for i in test_data:
# print(i)
# print(len(i))
if i['article_url'] ==k:
i.update(eval("{'count':v}")) #将url的重复数量转换为字典添加进去
item.append(i)
for a in item:
print(a)
from collections import Counterimport pandas as pd读取excel文件.将两列数据以键值对的形式保存为字典df = pd.DataFrame(pd.read_excel('work9.xlsx',header=0))item = {}for d in df.values:item.update({str(d[0]):d[1]}) # 第...