vocab 文本_文本预处理

文本预处理

文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：

读入文本

分词

建立字典，将每个词映射到一个唯一的索引(index)

将文本从词的序列转换为索引的序列，方便输入模型

读入文本

我们用一部英文小说，即H. G. Well的Time Machine，作为示例，展示文本预处理的具体过程。

import collections

import re

def read_time_machine():

with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f:

'''将不是字母的字符全部替换成空格, 多个连续也只有一个空格'''

lines = [re.sub('[^a-z]+', ' ', line.strip().lower()) for line in f]

return lines

lines = read_time_machine()

print('# sentences %d' % len(lines))

# sentences 3221

分词

我们对每个句子进行分词，也就是将一个句子划分成若干个词(token)，转换为一个词的序列。

def tokenize(sentences, token='word'):

""