动手学深度学习 PyTorch版 李沐视频课笔记
文章目录
一、文本预处理
1. 引包
Code:
import collections
import re
from d2l import torch as d2l
2. 将数据集读取到多行文本组成的列表中
Code:
#@save
d2l.DATA_HUB['time_machine'] = (d2l.DATA_URL + 'timemachine.txt',
'090b5e7e70c295757f55df93cb0a180b9691891a')
def read_time_machine(): #@save
"""将时间机器数据集加载到⽂本⾏的列表中"""
with open(d2l.download('time_machine'), 'r') as f:
lines = f.readlines()
return [re.sub('[^A-Za-z]+', ' ', line).strip().lower() for line in lines]
lines = read_time_machine()
print(f'# ⽂本总⾏数: {
len(lines)}')
print(lines[0])
print(lines[10])
Result:
3. 每个文本序列又被拆分成一个标记列表
Code:
def tokenize