床头笔记之文本数据预处理

最新推荐文章于 2019-03-08 18:19:38 发布

HuangRam

最新推荐文章于 2019-03-08 18:19:38 发布

阅读量657

点赞数

分类专栏： nlp笔记文章标签：预处理文本上数据 nlp

本文链接：https://blog.csdn.net/HuangRam/article/details/82909793

版权

这篇床头笔记详细探讨了文本数据预处理的各个环节，包括中文和英文分词、计算词频、构建词集索引、处理低频词、生成训练数据，以及Vocab类的实现，用于将词转换为索引和索引转换回词。

摘要由CSDN通过智能技术生成

床头笔记之文本数据预处理

中文分词

def seg_words(contents):
    contents_segs = list()
    for content in contents:
        segs = jieba.lcut(content)
        contents_segs.append(" ".join(segs))
    return contents_segs

读数据拼接起始符：

#Read the data and append SENTENCE_START and SENTENCE_END tokens
print "Reading CSV file..."
with open('data/reddit-comments-2015-08.csv', 'rb') as f:
    reader = csv.reader(f, skipinitialspace=True) #这两句读取csv文件，记得用rb
    reader.next()
    # Split full comments into sentences把所有评论分割成句子
    sentences = itertools.chain(*[nltk.sent_tokenize(x[0].decode('utf-8').lower()) for x in reader])#chain函数拼接多个数组生成迭代器，x[0]抽取字符串
    # Append SENTENCE_START and SENTENCE_END拼接起始符，for in生成数组的用法
    sentences = ["%s %s %s" % (sentence_start_token, x, sentence_end_token) for x in senten