文本预处理的流程
整个nlp其实就是把文本中的字词符号等看作是带有时序的变量,而文本预处理就是把这些变量做成可以进行训练的东西。
先去除文本中的无关元素
#@save
d2l.DATA_HUB['time_machine'] = (d2l.DATA_URL + 'timemachine.txt',
'090b5e7e70c295757f55df93cb0a180b9691891a')
def read_time_machine(): #@save
"""将时间机器数据集加载到文本行的列表中"""
with open(d2l.download('time_machine'), 'r') as f:
lines = f.readlines()
return [re.sub('[^A-Za-z]+', ' ', line).strip().lower() for line in lines]
lines = read_time_machine()
print(f'# 文本总行数: {len(lines)}')
print(lines[0])
print(lines[10])
就是把文本中除了大小写字母的其他元素全部换成空格
# 文本总行数: 3221 the time machine by h g wells twinkled and his usually pale face was flushed and animated the
将文本行拆分为单词或字符词元
token词元 最小单元
def tokenize(lines, token='word'): #@save
"""将