去除文件中的重复元素后写入文件

原创 2013年12月03日 11:21:43

去除文件中的重复元素后写入文件


#coding:utf-8
import fileinput
import re

#只包含单行的数据文件
f=open(r'D:\snowDocument\excludes.txt','w')

#匹配行内容中包含 '-'的字符
p2=re.compile('-')

def main():
    l=[]
    for line in fileinput.input(r'D:\snowDocument\original.txt'):
        if re.search(p2,line) :
            line = line.split()[0].split('-')[1]

            line = line.replace('(','')
            line =line.replace(')','')
            print line.decode('utf-8')
            l.append(line)
##            line.replace('|')
##    print len(l)

    #使用集合去除列表中的重复元素后写入文件
    l=set(l)

    f.write('|'.join(l))

    f.close()


if __name__ == '__main__':
    main()


相关文章推荐

什么是超参数

当参数时随机变量时,该参数分布中的参数就是超参数,简单的说就是参数的参数,感觉一般在贝叶斯方法中出现 所谓超参数,就是机器学习模型里面的框架参数,比如聚类方法里面类的个数,或者话题模...

hadoop streaming的job中出现IOError: [Errno 32] Broken pipe

通过查看失败task的counter发现没有input数据 再看task的log找到具体的数据片,发现数据中某一行有8000w个字符,删除改行就好了 初步估计是标准输入输出有长度限制或者hadoo...

java 去除重复元素

  • 2010年06月18日 16:43
  • 118KB
  • 下载

数组重复元素去除

  • 2013年09月12日 09:59
  • 588B
  • 下载

生成一系列不重复的随机数 及写入文件

为什么要写这个程序: 原因是这样的,我在写排序算法时感觉自己输入原数据输入的好累,于是自己想了想决定让电脑自己输入,但是由随机数输入会有重复的,于是我做了一些修正,实现了:input: 输...

iOS学习爬坑记录3:plist文件的读写,以及向NSMutableArray中写入NSDictionary元素失败

定义的一个NSMutableArray是从plist文件初始化的,而这个plist文件是新建的,只

Java去除List中重复的元素

如果用Set ,倘若list里边的元素不是基本数据类型而是对象, 那么请覆写Object的boolean   equals(Object   obj)   和int   hashCode()方...

去除数组中重复的元素

去除数组中重复的元素。

Leetcode033--单链表中去除重复的元素

一个排序的单链表中去除重复的元素
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:去除文件中的重复元素后写入文件
举报原因:
原因补充:

(最多只允许输入30个字)