动手学深度学习task03：线性神经网络

一、线性回归+基础优化算法

1. 线性回归

线性模型可看作单层神经网络。

显示解：将偏差加入权重。

损失是凸函数。

使用平方损失衡量预测值和真实值的差异。

2. 基础优化算法

梯度下降：定初始值，重复迭代参数，沿梯度方向增加损失函数值。

学习率：步长的超参数。不能太小，也不能太大。

小批量梯度下降：整个训练集计算梯度太贵且耗时，选择随机采取b个样本近似损失。

二、线性回归的从零开始实现

生成y=Xw+b+噪声。注意，features中的每一行都包含一个二维数据样本， labels中的每一行都包含一维标签值（一个标量）。

def synthetic_data(w, b, num_examples):  #@save
    X = torch.normal(0, 1, (num_examples, len(w)))
    y = torch.matmul(X, w) + b
    y += torch.normal(0, 0.01, y.shape)
    return X, y.reshape((-1, 1))

true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = synthetic_data(true_w, true_b, 1000)

训练模型时要对数据集进行遍历，每次抽取一小批量样本，并使用它们来更新我们的模型。故定义一个函数，能打乱数据集中的样本并以小批量方式获取数据。

下面定义一个data_iter函数， 该函数接收批量大小、特征矩阵和标签向量作为输入，生成大小为batch_size的小批量。 每个小批量包含一组特征和标签。

def data_iter(batch_size, features, labels):
    num_examples = len(features)
    indices = list(range(num_examples))#生成每个样本的index
    # 这些样本是随机读取的，没有特定的顺序
    random.shuffle(indices)
    for i in range(0, num_examples, batch_size):
        batch_indices = torch.tensor(
            indices[i: min(i + batch_size, num_examples)])
        yield features[batch_indices], labels[batch_indices]

yield的理解：https://blog.csdn.net/mieleizhi0522/article/details/82142856

初始化模型参数：从均值为0、标准差为0.01的正态分布中采样随机数来初始化权重， 并将偏置初始化为0。

w = torch.normal(0, 0.01, size=(2,1), requires_grad=True)
b = torch.zeros(1, requires_grad=True)

定义线性回归模型：

def linreg(X, w, b):  #@save
    """线性回归模型"""
    return torch.matmul(X, w) + b

定义损失函数：使用平方损失函数。

def squared_loss(y_hat, y):  #@save
    """均方损失"""
    return (y_hat - y.reshape(y_hat.shape)) ** 2 / 2

定义优化算法：params：所有参数，包括w和b lr：学习率

def sgd(params, lr, batch_size):  #@save
    """小批量随机梯度下降"""
    with torch.no_grad():
        for param in params:
            param -= lr * param.grad / batch_size
            param.grad.zero_()

三、线性回归的简洁实现

指定输入输出维度。Sequential:list of layers

# nn是神经网络的缩写
from torch import nn

net = nn.Sequential(nn.Linear(2, 1))

四、softmax回归+损失函数

回归与分类的区别：

回归：单连续数值输出，输出区间为自然区间，损失函数（（预测-真实）的平方）会跟真实值的区别作为损失。

分类：有多个输出，输出i是预测第i类的置信度。可以认为输出个数等于类别个数。

因为想把输出结果向量o转换为概率 所以定义了这样一个操作算子 softmax，非负，且和为1。

对正确的类别预测的概率越大交叉熵越小。

使用交叉熵衡量预测和标号的区别作为损失函数。

损失函数（原函数，似然函数，导数）

1.均方损失函数

2.绝对值损失函数（梯度是常数，稳定，零点处不可导）

3.鲁棒损失 预测和真实值差的大时绝对值误差；小于等于1时 平方误差