构建文本数据集（tokenize、vocab）

根据李沐老师的课做的记录。

构建文本数据集

文本数据集可以将其看作一串单词序列或者字符序列。
构建时一般有以下几个步骤。

1. 文本清洗（比如去除乱码和标点符号、当然在很多时候并不会去掉标点符号）。
2. 将文本存入内存。
3. 将文本拆分成词或者字符。
4. 建立词汇表和对应索引。

文本清洗和读取

这里使用课上提到的《time machine》
百度网盘链接
提取码：pypt

1. 读取文本
   只保留字母并统一成小写。

text_path = './timemachine.txt'


def read_time_machine():
    with open(text_path, 'r') as f:
        lines = f.readlines()
    return [re.sub(r'[^a-zA-Z]+', ' ', line).strip().lower() for line in lines]

lines = read_time_machine()
print('len=', len(lines), '\n', lines[0], '\n', lines[9])

输出如下

len= 3221 
the time machine by h g wells 
was expounding a recondite matter to us his grey eyes shone and

tokenize

将文本划分为词或者字符。

def tokenize(lines, token='word'):
    if token == 'word':
        return [line.split() for line in lines]
    elif token == 'char':
        return [list(line) for line in lines]
    else:
        print('wrong')

tokens = tokenize(lines)
print(tokens[0])

输出为

在这里插入代码片['the', 'time', 'machine', 'by', 'h', 'g', 'wells']

定义计数函数

统计每个词的出现频数。

def count_corpus(tokens):
    if len(tokens) == 0:
        tokens = []
    elif isinstance(tokens[0], list):
        tokens = [token for line in tokens for token in line]
    return collections.Counter(tokens)

定义vocab类

用于返回id_to_token和token_to_id。

class Vocab:
    def __init__(self, tokens=None, min_freq=0, reversed_token=None):
        if not tokens:
            tokens = []
        if not reversed_token:
            reversed_token = []
        counter = count_corpus(tokens)
        self.token_freq = sorted(counter.items(), key=lambda x: x[1], reverse=True)
        self.unk, uniq_tokens = 0, ['UNK'] + reversed_token
        uniq_tokens += [token for token, freq in self.token_freq if freq > min_freq and token not in uniq_tokens]
        self.idx_to_token, self.token_to_idx = []