李沐文本预处理代码注释

这一节我是直接阅读深度学习电子书的，敲代码的时候真的非常多不理解，看完b站视频再结合百度搜索，希望我注错的地方烦请诸位指正。

还有几条注释是我自己也想不明白的，注释内容非常多也非常基础，毕竟是刚入门啦（轻喷~

import collections
import re
from d2l import torch as d2l

读取数据集

d2l.DATA_HUB['time_machine'] = (d2l.DATA_URL + 'timemachine.txt',
                                '090b5e7e70c295757f55df93cb0a180b9691891a')

def read_time_machine():
    """将时间机器数据集加载到文本行的列表中"""
    with open(d2l.download('time_machine'), 'r') as f:    
        lines = f.readlines()                             
    return [re.sub('[^A-Za-z]+', ' ', line).strip().lower() for line in lines]    
    # 把（^）大写和小写的转换成空格                                                                       

lines = read_time_machine()
print(f'# 文本总行数：{len(lines)}')
print(lines[0])
print(lines[10])

# r:以只读方式打开文件, f是file对象
# f.readlines：返回文件中行内容的列表，size参数可选
# 只匹配单一字母，并将每一个字母替换为一个空格 
# strip()用于移除字符串头尾指定的字符,（默认为空格或换行符）
# lower()将字符串中的所有大写字母转换为小写字母

词元化

下⾯的tokenize函数将⽂本⾏列表（lines）作为输⼊，列表中的每个元素是⼀个⽂本序列（如⼀条⽂本⾏）。每个⽂本序列⼜被拆分成⼀个词元列表，词元（token）是⽂本的基本单位。最后，返回⼀个由词元列表组成的列表，其中的每个词元都是⼀个字符串（string）

def tokenize(lines, token='word'):
    """将文本行拆分为单词或字符词元"""
    if token == 'word':
        return [line.split() for line in lines]
    elif token == 'char':    # char 字符串
        return [list(line) for line in lines] # 为什么这边要做list(line)而上面不用？ 
    else:
        print('错误：未知词元类型：' + token)
        
tokens = tokenize(lines)
for i in range(11):
    print(tokens[i]) # print前11行tokenize后的结果
    
#print(tokens)
len(tokens)

词表

词元的类型是字符串，⽽模型需要的输⼊是数字，因此这种类型不⽅便模型使⽤。现在，让我们构建⼀个字典，通常也叫做词表（vocabulary），⽤来将字符串类型的词元映射到从0开始的数字索引中。

class Vocab:
    """文本词表"""
    def __init__(self, tokens=None, min_freq=0, reserved_tokens=None):    
    # reserved_token是句子的开头结束token
        if tokens is None:    # 这两行None是为了程序运行的时候不报错
            tokens = []
        if reserved_tokens is None:
            reserved_tokens=[]
        
        # 按出现频率排序
        counter = count_corpus(tokens)
        self._token_freqs = sorted(counter.items(), key=lambda x: x[1],    
                                   reverse=True)
        # sorted默认升序，使用lambda可以降序排列
        # 未知词元的索引为0
        # idx to token是给index，返回token,写在to_token模块了
        # token_to_idx就是做dict，给token，返回index
        self.idx_to_token = ['<unk>'] + reserved_tokens    
        
        self.token_to_idx = {token: idx
                             for idx, token in enumerate(self.idx_to_token)} 
        # 这一行是对上述两个self的定义，小于min_freq的不要，不断加入idx_to_token   
        
        for token, freq in self._token_freqs:    
            if freq < min_freq:
                break
            if token not in self.token_to_idx:
                self.idx_to_token.append(token)
                self.token_to_idx[token] = len(self.idx_to_token) - 1
                
    def __len__(self):    # 用以限制__getitem__(self,key)中形参key的范围，
        return len(self.idx_to_token) # 像列表那样索引来取出对应元素，当然每个元素都对应一个数字索引，这个key就是数字索引不能超过所能取到元素的总数   
    
    def __getitem__(self, tokens): # 给一个token, 返回一个index
        if not isinstance(tokens, (list, tuple)):    # isinstance（object，type）用于判断对象类型， tuple 元组
            return self.token_to_idx.get(tokens, self.unk)    # get函数内self.unk有什么作用？ self.unk不是等于0吗？
        return [self.__getitem__(token) for token in tokens]  # 明白了，传进来token, 如果不是需要的形式，则Index为0？其他的依次给index?
    
    def to_tokens(self, indices): # 这个模块有什么作用？ # 给index, 返回字符串
        if not isinstance(indices, (list, tuple)):
            return self.idx_to_token[indices]
        return [self.idx_to_token[index] for index in indices]
    
    def unk(self):    # self.unk下标为0
        return 0
    
    def token_freqs(self):
        return self._token_freqs
    
def count_corpus(tokens):
    """统计词元频率"""
    # 这里的tokens是1D列表或2D列表
    if len(tokens) == 0 or isinstance(tokens[0], list):
        # 将词元列表展平成一个列表
        tokens = [token for line in tokens for token in line] # 这句为什么这么写？
    return collections.Counter(tokens)