python处理txt去掉同类的冗余数据

在天池数据竞赛中需要对其提供的数据进行处理。
现在有这样一些数据，例如
1 78687679，7879877；79879
2 98797；7980787,87987907；
3 9809789，987987,8798789；89798798，9878907；
4 987686；9870987987；8790787
空格前面是数据的id号后面分号之间的数据属于同一个类目，分号之间有多个数据，这些数据可以相互替换，他们之间用逗号隔开。现在每个类目只想要一个数据，多余的为冗余数据，需要去掉。代码如下。

import os
#删除多余的类目的函数
def deleteExtra(d):
    #新建一个链表
    newitem = []
    #判断链表的每个值是否含有逗号，中文逗号
    for segment in d:
        #如果没有逗号直接添加到新链表中，没有再根据逗号分隔开并将
        #分开的第一个链表值添加到新链表里
        if ','not in segment:
            newitem.append(segment)
        else:
            dsegment = segment.split(',')
            newitem.append(dsegment[0])
    #if '\n' not in newitem:
        #newitem.append('\n')
    print (newitem)
    #将新链表用分号连接起来
    newline =';'.join(newitem)
    #判断新组成的数据中是否有换行符
    if newline.find('\n')>0:
        fw.write(newline)
    else:
        newline = newline+'\n'
        fw.write(newline)       
    return 'ok'
fr = open('D:/TianChi/data/dim_fashion_matchsets.txt','r')
fw = open('D:/TianChi/test8.txt','w')
r=fr.readline()
while r!='':
    #该句话里面没有逗号直接写到文件里面
    if ',' not in r:
        fw.write(r)
    else :
        #有逗号的话，把分号之间的分开
        d = r.split(';')
        deleteExtra(d)
    r = fr.readline()
fr.close()
fw.close()

结果为：
1 78687679；79879
2 98797；7980787
3 9809789，987987；89798798
4 987686；9870987987；8790787