去除文件中的重复元素后写入文件

去除文件中的重复元素后写入文件

#coding:utf-8
import fileinput
import re

#只包含单行的数据文件
f=open(r'D:\snowDocument\excludes.txt','w')

#匹配行内容中包含 '-'的字符
p2=re.compile('-')

def main():
    l=[]
    for line in fileinput.input(r'D:\snowDocument\original.txt'):
        if re.search(p2,line) :
            line = line.split()[0].split('-')[1]

            line = line.replace('(','')
            line =line.replace(')','')
            print line.decode('utf-8')
            l.append(line)
##            line.replace('|')
##    print len(l)

    #使用集合去除列表中的重复元素后写入文件
    l=set(l)

    f.write('|'.join(l))

    f.close()


if __name__ == '__main__':
    main()