Task02： 文本预处理；语言模型；循环神经网络基础

Task02： 文本预处理；语言模型；循环神经网络基础

文本预处理

这里主要是word和index相互转换很不错，顺便过滤一下，复制粘贴义工日后复（抄）习。
思想就是构造一个类，实现word，index相互转换函数，顺便构造词典。

class Vocab(object):
    def __init__(self, tokens, min_freq=0, use_special_tokens=False):
        counter = count_corpus(tokens)  # : 
        self.token_freqs = list(counter.items())
        self.idx_to_token = []
        if use_special_tokens:
            # padding, begin of sentence, end of sentence, unknown
            self.pad, self.bos, self.eos, self.unk = (0, 1, 2, 3)
            self.idx_to_token += ['', '', '', '']
        else:
            self.unk = 0
            self.idx_to_token += ['']
        self.idx_to_token += [token for token, freq in self.token_freqs
                        if freq >= min_freq and token not in self.idx_to_token]
        self.token_to_idx = dict()
        for idx, token in enumerate(self.idx_to_token):
            self.token_to_idx[token] = idx

    def __len__(self):
        return len(self.idx_to_token)

    def __getitem__(self, tokens):
        if not isinstance(tokens, (list, tuple)):
            return self.token_to_idx.get(tokens, self.unk)
        return [self.__getitem__(token) for token in tokens]

    def to_tokens(self, indices):
        if not isinstance(indices, (list, tuple)):
            return self.idx_to_token[indices]
        return [self.idx_to_token[index] for index in indices]

def count_corpus(sentences):
    tokens = [tk for st in sentences for tk in st]
    return collections.Counter(tokens)  # 返回一个字典，记录每个词的出现次数

语言模型

主要讲了n-gram，这个记得很清楚，就是依靠马尔科夫链简化问题，但问题依然很多，比如低频等。

循环神经网络基础

rnn单隐层的讲解，训练时的初始化确实是一个之前没有想到的问题。给一个隐层初始化条件会使调用的函数接口一致，但更深一层，对于不同的采样方式，初始化的方式也有所改变（随机训练次都要初始化，但相邻采样因为一个epoch都是连续的，所以可以只在一个epoch初始化）
另，困惑度也是新的知识点，用来评价语言模型，就是预测概率的倒数，但并不理解这样做的合理性。