深度学习之文本预处理

问题的引入

我们可以将文本看成是按时间顺序产生的序列，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：

1. 读入文本
2. 分词
3. 建立字典，将每个词映射到一个唯一的索引（index）
4. 将文本从词的序列转换为索引的序列，方便输入模型

读入文本

import re

def read_file(file_path):
    with open(file_path, 'r') as f:
        lines = [re.sub('[^a-z]+', ' ', line.strip().lower()) for line in f]
        return lines
        
lines = read_time_machine()
print('# sentences %d' % len(lines))

分词

我们对每个句子进行分词，也就是将一个句子划分成若干个词或字母，转换为一个词的序列。

def tokenize(sentences, token='word'):
    """token为word时将句子按词进行划分，token为char时，按字母进行划分"""
    if token == 'word':
        return [sentence.split(' ') for sentence in sentences]
    elif token == 'char':
        return [list(sentence) for sentence in sentences]
    else:
        print