动手学深度学习（Pytorch版）task1-2打卡

对于task1-2学习中的重点进行记录

深度学习模型搭建的整体pipeline

1. 数据集处理和读取
2. 定义模型
3. 模型参数初始化
4. 定义损失函数
5. 定义优化函数
6. 训练

Task01：线性回归；Softmax与分类模型、多层感知机

在pytorch中定义模型其实和gluon有些类似，主要包括：封装成类（集成nn.module重写forward函数）、以及使用Sequential的方式来定义。

pytorch定义模型的不同方式

写一个模型类

class LinearNet(nn.Module):
    def __init__(self, n_feature):
        super(LinearNet, self).__init__()      # call father function to init 
        self.linear = nn.Linear(n_feature, 1)  # function prototype:`torch.nn.Linear(in_features, out_features, bias=True)`
    def forward(self, x):
        y = self.linear(x)
        return y
    
net = LinearNet(num_inputs)
print(net)

使用Sequential来定义

# ways to init a multilayer network
# method one
net = nn.Sequential(
    nn.Linear(num_inputs, 1)
    # other layers can be added here
    )

# method two
net = nn.Sequential()
net.add_module('linear', nn.Linear(num_inputs, 1))
# net.add_module ......

# method three
from collections import OrderedDict
net = nn.Sequential(OrderedDict([
          ('linear', nn.Linear(num_inputs, 1))
          # ......
        ]))

常见激活函数和其导数

Sigmoid函数和其导数

$sigmoid(x)=\frac{1}{1+e^{-x}}$其导数为：$f^{\prime }(x)=f(x)(1-f(x))$

tanh函数和其导数

$tanh(x)=\frac{1-e^{-2x}}{1+e^{-2x}}$ 其导数为:$tan{h}^{\prime }(x)=1-tan{h}^2(x)$

文本预处理；语言模型；循环神经网络基础

文本预处理的一般流程

文本的预处理一般包含四个步骤：

1. 读入文本
2. 分词（两个常用的分词库spacy,nltk）
3. 建立字典，将每一个词映射为独立的索引(index)
4. 将文本从词的序列转为索引的序列,使得输入模型更加的方便

N元语法

两种不同的采样方式

注意采用的时候length要减去1

随机采样

import torch
import random
def data_iter_random(corpus_indices, batch_size, num_steps, device=None):
    # 减1是因为对于长度为n的序列，X最多只有包含其中的前n - 1个字符
    num_examples = (len(corpus_indices) - 1) // num_steps  # 下取整，得到不重叠情况下的样本个数
    example_indices = [i * num_steps for i in range(num_examples)]  # 每个样本的第一个字符在corpus_indices中的下标
    random.shuffle(example_indices)

    def _data(i):
        # 返回从i开始的长为num_steps的序列
        return corpus_indices[i: i + num_steps]
    if device is None:
        device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
    
    for i in range(0, num_examples, batch_size):
        # 每次选出batch_size个随机样本
        batch_indices = example_indices[i: i + batch_size]  # 当前batch的各个样本的首字符的下标
        X = [_data(j) for j in batch_indices]
        Y = [_data(j + 1) for j in batch_indices]
        yield torch.tensor(X, device=device), torch.tensor(Y, device=device)

相邻采样

在相邻采样中，相邻的两个随机小批量在原始序列上的位置相毗邻,可以连续的训练网络

def data_iter_consecutive(corpus_indices, batch_size, num_steps, device=None):
    if device is None:
        device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
    corpus_len = len(corpus_indices) // batch_size * batch_size  # 保留下来的序列的长度
    corpus_indices = corpus_indices[: corpus_len]  # 仅保留前corpus_len个字符
    indices = torch.tensor(corpus_indices, device=device)
    indices = indices.view(batch_size, -1)  # resize成(batch_size, )
    batch_num = (indices.shape[1] - 1) // num_steps
    for i in range(batch_num):
        i = i * num_steps
        X = indices[:, i: i + num_steps]
        Y = indices[:, i + 1: i + num_steps + 1]
        yield X, Y

待解决问题

• 困惑度的具体计算
• 从头实现生成诗歌
• 熟悉pytoch的api