NLP文本预处理的三大流程

文本预处理的流程

先去除文本中的无关元素

将文本行拆分为单词或字符词元

※※制作字典，给每个token加上indices

---

整个nlp其实就是把文本中的字词符号等看作是带有时序的变量，而文本预处理就是把这些变量做成可以进行训练的东西。

先去除文本中的无关元素

#@save
d2l.DATA_HUB['time_machine'] = (d2l.DATA_URL + 'timemachine.txt',
                                '090b5e7e70c295757f55df93cb0a180b9691891a')

def read_time_machine():  #@save
    """将时间机器数据集加载到文本行的列表中"""
    with open(d2l.download('time_machine'), 'r') as f:
        lines = f.readlines()
    return [re.sub('[^A-Za-z]+', ' ', line).strip().lower() for line in lines]

lines = read_time_machine()
print(f'# 文本总行数: {len(lines)}')
print(lines[0])
print(lines[10])

就是把文本中除了大小写字母的其他元素全部换成空格

# 文本总行数: 3221
the time machine by h g wells
twinkled and his usually pale face was flushed and animated the

将文本行拆分为单词或字符词元

token词元 最小单元

def tokenize(lines, token='word'):  #@save
    """将文本行拆分为单词或字符词元""&