52 文本预处理 动手学深度学习 PyTorch版 李沐视频课笔记

动手学深度学习 PyTorch版 李沐视频课笔记

李沐视频课笔记其他文章目录链接(不定时更新)

---

---

一、文本预处理

1. 引包

Code：

import collections
import re
from d2l import torch as d2l

2. 将数据集读取到多行文本组成的列表中

Code：

#@save
d2l.DATA_HUB['time_machine'] = (d2l.DATA_URL + 'timemachine.txt',
                                '090b5e7e70c295757f55df93cb0a180b9691891a')

def read_time_machine(): #@save
    """将时间机器数据集加载到⽂本⾏的列表中"""
    with open(d2l.download('time_machine'), 'r') as f:
        lines = f.readlines()
    return [re.sub('[^A-Za-z]+', ' ', line).strip().lower() for line in lines]

lines = read_time_machine()
print(f'# ⽂本总⾏数: {
     len(lines)}')
print(lines[0])
print(lines[10])

Result：

3. 每个文本序列又被拆分成一个标记列表

Code：

def tokenize