python对csv去除重复行_Python如何从CSV中删除重复的单元格/行

我有一个逗号分隔的CSV文件的城市，州，邮编和州缩写。不同的cites文件中有重复的邮政编码。我的输出只需要列出一个城市和一个邮政编码，而不是一个城市的名称和所有不同的邮政编码。在

以下是我在数据中的数据(csv文件中有26k行)Phoenix, Arizona, 87654, AZ

Phoenix, Arizona, 87655, AZ

Tuscon, Arizona, 98754, AZ

Tuscon, Arizona, 98755, AZ

Tuscon, Arizona, 98756, AZ

我需要的是删除重复的城市行，只保留一行。所以我的输出应该是这样的。在

^{pr2}$

这是我现在的代码，它不起作用。在import os, sys, csv

f1 = csv.reader(open('originalcities.csv', 'rb'))

writer = csv.writer(open("output_cities.csv", "wb"))

city = set()

for row in f1:

if row[1] not in city:

write.writerow(row)

city.add( row[1] )

我不确定代码是否对我来说是正确的，以获得我正在寻找的输出。当我运行这个代码时，我得到了这个错误。在for row in f1:

_csv.Error: iterator should return strings, not bytes (did you open the file in

text mode?)

非常感谢任何帮助。谢谢您。在