深度学习基础——线性神经网络

线性神经网络是深度神经网络的基础，本文介绍线性神经网络的相关内容。

线性回归

虽然神经网络的模型远比线性模型复杂，然而我们依然可以用描述神经网络的方式来描述线性模型，从而把线性模型看做一个神经网络，即线性模型为单层神经网络。如果要不使用库实现线性回归，可以按照如下步骤来进行

• 生成数据集。此处我们手动生成数据集，数据服从正态分布。

• 读取数据集

• 初始化模型参数

• 定义模型

• 定义损失函数

• 定义优化算法

• 训练

以Pytorch为例，如果直接应用框架，可以通过如下代码实现

import numpy as np
import torch
from torch.utils import data
from d2l import torch as d2l

true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = d2l.synthetic_data(true_w, true_b, 1000)


def load_array(data_arrays, batch_size, is_train=True):  #@save
    """构造一个PyTorch数据迭代器。"""
    dataset = data.TensorDataset(*data_arrays)
    return data.DataLoader(dataset, batch_size, shuffle=is_train)

batch_size = 10
data_iter = load_array((features, labels), batch_size)


# `nn` 是神经网络的缩写
from torch import nn

net = nn.Sequential(nn.Linear(2, 1))
net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)


loss = nn.MSELoss()
trainer = torch.optim.SGD(net.parameters(), lr=0.03)


num_epochs = 3
for epoch in range(num_epochs):
    for X, y in data_iter:
        l = loss(net(X) ,y)
        trainer.zero_grad()
        l.backward()
        trainer.step()
    l = loss(net(features), labels)
    print(f'epoch {
     epoch + 1}, loss {
     l:f}')
w = net[0].weight.data
print('w的估计误差：', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差：', true_b - b)

softmax回归

softmax是社会学家邓肯·卢斯发明的函数，可以将为规范化的预测变化为非负，且总和为1，同时要求保持模型可导。softmax运算不会改变未规范化的预测之间的顺序，只会确定分配给每个类别的概率。softmax函数的导数是softmax模型分配的概率与实际发生的情况之间的差异。Softmax函数为

$$\hat{\mathbf{y}}=\mathrm{softmax}(\mathbf{o}),{\hat{y}}_j=\frac{\exp \left(o_j\right)}{{\sum }_k\exp \left(o_k\right)}$$

对于所有的$j$，总有$0\le \hat{\mathbf{y}}$