使用pickle模块打包停用词表,加快处理文本数据的速度

最新推荐文章于 2024-09-07 20:31:52 发布

呆萌的代Ma

最新推荐文章于 2024-09-07 20:31:52 发布

阅读量263

点赞数

分类专栏：自然语言处理文章标签： pickle 自然语言处理

本文为CSDN博主"呆萌的代Ma"原创文章，转载请注明博客链接：https://blog.csdn.net/weixin_35757704/

本文链接：https://blog.csdn.net/weixin_35757704/article/details/106028793

版权

自然语言处理专栏收录该内容

56 篇文章 20 订阅

订阅专栏

参考博客:https://blog.csdn.net/brucewong0516/article/details/79055480

本地有一个停用词表eng_stop_words.txt文本,现在使用pickle打包:

def savedb(pre_file, filename):
    with open(pre_file, 'r') as f:
        content = [line.strip() for line in f.readlines()]
    pickle.dump(content, open(filename, 'wb'))


savedb('eng_stop_words.txt', 'eng_stop_words.pkl')

使用时:

def drop_stopwords(contents, stopwords):
    contents_clean = []
    for line in contents:
        line_clean = []
        for word in line:
            if word in stopwords:
                continue
            line_clean.append(word)
        contents_clean.extend(line_clean)
    return contents_clean
 
 
stopwords = pickle.load(open('eng_stop_words.pkl', 'rb')) #读取停用词文件
content_list = drop_stopwords(content, stopwords)