Python进行停用词表去重

如果你手上有多个停用词表，一个不够，多个又重了怎么办？

当然是直接利用python进行去重，将多个停用词表里面的内容集中在一个txt文件里面之后：

利用如下代码进行去重清理：

def stopwd_reduction(infilepath, outfilepath):
    infile = open(infilepath, 'r', encoding='utf-8')
    outfile = open(outfilepath, 'w',encoding='utf-8')
    stopwordslist = []
    for str in infile.read().split('\n'):
        if str not in stopwordslist:
            stopwordslist.append(str)
            outfile.write(str + '\n')


stopwd_reduction(r'D:\停用词.txt', r'D:\停用词新.txt')
#此处前者代表综合之后的源停用词文件路径，后者代表去重之后的停用词表存放路径
#此处的r代表绝对路径，r'D:\停用词.txt'等效于'D:/停用词.txt'等效于'D:\\停用词.txt'

即可完成清理操作。