《神经网络与深度学习》学习笔记（1）概述、线性回归、BP网络

《神经网络与深度学习》学习笔记（1）概述、线性回归、BP网络

前言

  作者目前为某高校在读研究生，本文是应《神经网络与深度学习》课程的授课教师要求撰写的课程总结，如有纰漏欢迎指正。本文内容主要是对文献[1]（《动手学深度学习》）和授课教师课程PPT的归纳与分析，因此使用了上述文献的部分内容，若存在侵权恳请联系作者及时删除。

1 概述

  什么是人工神经网络？人工神经网络是从微观结构与功能上模拟人脑神经系统而建立的一类模型，是模拟人的智能的一条途径。其中信息处理由人工神经元间的相互作用来实现，由联接权来传递，具有学习能力、自适应性、联接强度的可变性。人工神经网络是人脑的抽象、简化和模拟，反映了人脑功能的若干基本特征。多隐层的人工神经网络被称为深度学习，具有优异的特征学习能力，并可通过无监督学习实现的“逐层初始化”来克服在训练上的难度。
  神经网络与深度学习发展回顾。1957年，Frank Rosenblatt提出了感知机，一种最简形式的前馈人工神经网络，能够进行二元分类，但是无法处理异或等非线性分类问题，随后神经网络的发展陷入了低谷。1986年，多层神经网络和由Rumelhart和McClelland为首的科学家小组提出的BP算法顺利地解决了非线性分类问题，神经网络又迎来了新一轮的发展。2012年，Alex Krizhevsky等人提出的AlexNet[7]的问世，大大降低了神经网络在图像分类问题上的错误率，大大鼓舞了人们研究神经网络的热情，推动了深度学习研究的热潮。
  神经网络与深度学习应用。进入二十一世纪以来，伴随着人工智能研究的热潮，人工神经网络等技术得到了广泛的应用。世界主要经济体都非常重视人工智能技术的发展，陆续开展了人工智能相关计划，并从国家战略层面开始加紧布局。深度学习作为人工智能领域的热门研究方向在近年也得到了飞速的发展，并被应用在智能机器人、自动驾驶、智能穿戴、智能家居、机器翻译、智慧物流、智能制造等诸多邻域。

2 线性回归

2.1 线性回归

  线性回归的定义：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。例如，假设房价和房屋面积、年限有关，则可以将该关系表示为一个二维线性函数，见式(2.1)。$$y={\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_0\text{\hspace{1em}(2.1)}$$  若进一步拓展该问题，假设房价和n个因素有关，则可以表示为式(2.2)。$$y={\mathbf{\theta }}^{\top }\mathbf{x}=h_{\mathbf{\theta }}(\mathbf{x})\text{\hspace{1em}(2.2)}$$其中$\mathbf{\theta }={\left[\begin{array}{c}{\theta }_n,{\theta }_{n-1},\cdots ,{\theta }_1,{\theta }_0\end{array}\right]}^{\top }$，$\mathbf{x}={\left[\begin{array}{c}{x}_n,x_{n-1},\cdots ,x_1,1\end{array}\right]}^{\top }$。
  此外，再假设给定样本$({\mathbf{x}}^{(i)},y^{(i)})$并构造损失函数$J(\mathbf{\theta })=\frac{1}{2}{\sum }_{i=1}^m{(y^{(i)}-h_{\mathbf{\theta }}({\mathbf{x}}^{(i)}))}^2$。目标是找到超平面参数$\mathbf{\theta }$，使$J(\mathbf{\theta })$最小，即求解$\underset{\mathbf{\theta }}{\min }J(\mathbf{\theta })$。令$\frac{\partial J(\mathbf{\theta })}{\partial \mathbf{\theta }}=0$可得解析解，见式(2.3)。$$\mathbf{\theta }=({\mathbf{X}}^{\top }\mathbf{X}{)}^{-1}{\mathbf{X}}^{\top }\mathbf{y}\text{\hspace{1em}(2.3)}$$其中$\mathbf{X}={\left[\begin{array}{c}{({\mathbf{x}}^{(N)})}^{\top },{({\mathbf{x}}^{(N-1)})}^{\top },\cdots ,{({\mathbf{x}}^{(1)})}^{\top }\end{array}\right]}^{\top }$，$\mathbf{y}={\left[\begin{array}{c}{y}^{(N)},y^{(N-1)},\cdots ,y^{(1)}\end{array}\right]}^{\top }$。

2.2 线性二分类问题

  例如，苹果分类问题，用苹果的两个特征：苹果的直径、苹果外观评价。则线性分类器的输入为上述特征组成的特征向量；输出为类别，如果是二分类问题，则为0和1，或者是属于某类的概率，即0-1之间的数。若输出为属于某类的概率(0-1)，则需要进行值变换将神经网络的输出限定在区间(0,1)内，比如使用Sigmoid函数，见式(2.4)。$$y=\frac{1}{1+e^{-z}}\text{\hspace{1em}(2.4)}$$其中$z={\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_0$，函数图像见图2-1。

图2-1 Sigmoid函数曲线

  同样给定样本$({\mathbf{x}}^{(i)},y^{(i)})$并构造损失函数$J(\mathbf{\theta })=\frac{1}{2}{\sum }_{i=1}^N{(y^{(i)}-h_{\mathbf{\theta }}({\mathbf{x}}^{(i)}))}^2$，其中$h_{\mathbf{\theta }}({\mathbf{x}}^{(i)})=\frac{1}{1+e^{-{\mathbf{\theta }}^{\top }{\mathbf{x}}^{(i)}}}$。目标一样是找到超平面参数$\mathbf{\theta }$，使$J(\mathbf{\theta })$最小，即求解$\underset{\mathbf{\theta }}{\min }J(\mathbf{\theta })$。同样令$\frac{\partial J(\mathbf{\theta })}{\partial \mathbf{\theta }}=0$，但是由于这里的损失函数是非线性的因此无法直接求解。于是可以采用梯度下降算法：$${\mathbf{\theta }}_{k+1}={\mathbf{\theta }}_k+\Delta {\mathbf{\theta }}_k\text{\hspace{1em}(2.5)}$$$$\Delta {\mathbf{\theta }}_k=-\alpha \frac{\partial J}{\partial \mathbf{\theta }}\text{\hspace{1em}(2.6)}$$$$\frac{\partial J}{\partial \mathbf{\theta }}=\frac{1}{2}\sum _{i=1}^N(y^{(i)}-h_{\mathbf{\theta }}({\mathbf{x}}^{(i)}))(-\frac{\partial h_{\mathbf{\theta }}({\mathbf{x}}^{(i)})}{\partial \mathbf{\theta }})\text{\hspace{1em}(2.7)}$$$$\frac{\partial h_{\mathbf{\theta }}({\mathbf{x}}^{(i)})}{\partial \mathbf{\theta }}=h_{\mathbf{\theta }}(1-h_{\mathbf{\theta }}){\mathbf{x}}^{(i)}\text{\hspace{1em}(2.8)}$$

2.3 对数回归与多分类回归

  上述二分类问题也可使用条件概率描述：
$$P(y^{(i)}=1|{\mathbf{x}}^{(i)})=h_{\mathbf{\theta }}({\mathbf{x}}^{(i)})=\frac{1}{1+e^{-{\mathbf{\theta }}^{\top }{\mathbf{x}}^{(i)}}}\text{\hspace{1em}(2.9)}$$$$P(y^{(i)}=0|{\mathbf{x}}^{(i)})=1-P(y^{(i)}=1|{\mathbf{x}}^{(i)})=1-h_{\mathbf{\theta }}({\mathbf{x}}^{(i)})\text{\hspace{1em}(2.10)}$$
由于输出为[0,1]，需要修改指标函数
$$J(\mathbf{\theta })=\frac{1}{2}\sum _i(y^{(i)}\log (h_{\mathbf{\theta }}({\mathbf{x}}^{(i)}))+(1-y^{(i)})\log (1-h_{\mathbf{\theta }}({\mathbf{x}}^{(i)})))\text{\hspace{1em}(2.11)}$$对其最小化则有$${\nabla }_{\mathbf{\theta }}J(\mathbf{\theta })=\sum _i{\mathbf{x}}^{(i)}(h_{\mathbf{\theta }}({\mathbf{x}}^{(i)})-y^{(i)})\text{\hspace{1em}(2.12)}$$  根据贝叶斯公式二分类问题可使用条件概率描述为，$P(y^{(i)}=1|{\mathbf{x}}^{(i)},\mathbf{\theta })=h_{\mathbf{\theta }}({\mathbf{x}}^{(i)})$，$P(y^{(i)}=0|{\mathbf{x}}^{(i)},\mathbf{\theta })=1-h_{\mathbf{\theta }}({\mathbf{x}}^{(i)})$。或者统一写成
$$P(y^{(i)}|{\mathbf{x}}^{(i)},\mathbf{\theta })=(h_{\mathbf{\theta }}({\mathbf{x}}^{(i)}){)}^{y^{(i)}}(1-h_{\mathbf{\theta }}({\mathbf{x}}^{(i)}){)}^{1-y^{(i)}}\text{\hspace{1em}(2.13)}$$
  假设样本相互独立，则合理的估计值应让所有样本事件产生的几率最大，即是极大似然的，因此取似然函数$L(\mathbf{\theta })={\prod }_{i=1}^{m}p(y^{(i)}|{\mathbf{x}}^{(i)},\mathbf{\theta })$或$$l(\mathbf{\theta })=\log L(\mathbf{\theta })=\sum _i(y^{(i)}\log (h_{\mathbf{\theta }}({\mathbf{x}}^{(i)}))+(1-y^{(i)})\log (1-h_{\mathbf{\theta }}({\mathbf{x}}^{(i)})))\text{\hspace{1em}(2.14)}$$对式(2.14)的最大化等价于$\underset{\mathbf{\theta }}{\min }-l(\mathbf{\theta })$。
  对于有k个标记的分类问题，取损失函数
J ( θ ) = − [ ∑ i = 1 m ∑ k = 1 K 1 { y ( i ) = k } log ⁡ exp ⁡ ( θ ( k ) ⊤ x ( i ) ) ∑ j = 1 K exp ⁡ ( θ ( k ) ⊤ x ( i ) ) ] (2.15) J(\boldsymbol{\theta})=-[\mathop{\sum}\limits_{i=1}^{m}{\mathop{\sum}\limits_{k=1}^{K}{1\{y^{(i)}=k\}\log{\frac{\exp(\boldsymbol{\theta}^{(k)\top}\boldsymbol{x}^{(i)})}{\sum_{j=1}^{K}{\exp(\boldsymbol{\theta}^{(k)\top}\boldsymbol{x}^{(i)})}}}}}]\tag{2.15} J(θ)=−[i=1∑m​k=1∑K​1{y(i)=k}log∑j=1K​exp(θ(k)⊤x(i))exp(θ(k)⊤x(i))​](2.15)也可以简写为$l(\mathbf{y},\hat{\mathbf{y}})=\sum _{j=1}^K{y}_j\log \widehat{y_j}$称为交叉熵，对应梯度 ∇ θ ( k ) J ( θ ) = − ∑ i = 1 m [ x ( i ) ( 1 { y ( i ) = k } − P ( y ( i ) = k ∣ x ( i ) , θ ) ) ] (2.16) \nabla_{\boldsymbol{\theta}^{(k)}}J(\boldsymbol{\theta})=-\sum_{i=1}^{m}[\boldsymbol{x}^{(i)}(1\{y^{(i)}=k\}-P(y^{(i)}=k|\boldsymbol{x}^{(i)},\boldsymbol{\theta}))]\tag{2.16} ∇θ(k)​J(θ)=−i=1∑m​[x(i)(1{y(i)=k}−P(y(i)=k∣x(i),θ))](2.16)这种方式称为Softmax。

2.4 神经元模型

  神经元模型即模仿人脑神经元产生的模型。当单个神经元有三个输入时，该模型的运算过程如图2-2所示，首先神经元的输入与对应权重分别相乘后再求和得到输入的加权和，再经过激活函数成为神经网络的输出，上文中使用的Sigmoid函数就是一种典型的激活函数。

图2-2 神经元模型

2.5 感知机模型

  1957年，Rosenblatt提出的感知机(Perceptron)成为了神经网络和支持向量机的基础，能解决线性分类问题。感知机从输入到输出的模型如下：
$$y=f(\mathbf{x})=sign({\mathbf{w}}^{\top }\mathbf{x})\text{\hspace{1em}(2.17)}$$其中$sign()$为符号函数：
$$sign(x)=\{\begin{array}{ll}-1& x<0\\ 1& x\ge 0\end{array}\text{\hspace{1em}(2.18)}$$  对于样本$({\mathbf{x}}^{(i)},y^{(i)})$，如果正确分类则：
$$\{\begin{array}{ll}\frac{y^{(i)}({\mathbf{w}}^{\top }{\mathbf{x}}^{(i)})}{\Vert \mathbf{w}\Vert }>0& 正确分类样本\\ \frac{y^{(i)}({\mathbf{w}}^{\top }{\mathbf{x}}^{(i)})}{\Vert \mathbf{w}\Vert }<0& 错误分类样本\end{array}\text{\hspace{1em}(2.19)}$$因此可以定义损失函数：
$$L(\mathbf{w})=-\frac{1}{\Vert \mathbf{w}\Vert }\sum y^{(i)}({\mathbf{w}}^{\top }{\mathbf{x}}^{(i)})\text{\hspace{1em}(2.20)}$$目标是找到超平面参数${\mathbf{w}}^{\ast }$满足：$$L({\mathbf{w}}^{\ast })=\underset{\mathbf{w}}{\min }\sum y^{(i)}({\mathbf{w}}^{\top }{\mathbf{x}}^{(i)})\text{\hspace{1em}(2.21)}$$  设输入为训练数据集 { x ( i ) , y ( i ) } \{\boldsymbol{x}^{(i)},y^{(i)}\} {x(i),y(i)}，输出为$\mathbf{w}$，则具体训练流程如下：

1. 赋初值${\mathbf{w}}_0$，数据序号$i=1$，迭代次数$k=0$。
2. 选择数据点$({\mathbf{x}}^{(i)},y^{(i)})$。
3. 判断该数据点是否为当前模型的误分类点，即判断若$y^{(i)}({\mathbf{w}}^{\top }{\mathbf{x}}^{(i)})\le 0$，则更新权值：$${\mathbf{w}}_{k+1}={\mathbf{w}}_k+\eta y^{(i)}{\mathbf{x}}^{(i)}\text{\hspace{1em}(2.22)}$$
4. 判断预测结果是否有误分类点，若存在，转到2；若不存在，结束。

2.6 程序实例

  以下将分析一个线性神经网络的例子来深化对于上述概念的理解。假设线性模型如式(2.23)
$$y={\mathbf{w}}^{\top }\mathbf{x}+b+ϵ\text{\hspace{1em}(2.23)}$$其中$\mathbf{w}=\left[\begin{array}{c}2\\ -3.4\end{array}\right]$；$b=4.2$；$ϵ$为噪声项，服从均值为0方差为0.01的正态分布；$\mathbf{x}$为输入，包含两个特征；$y$为标签；。
  下文将以上述线性模型为基础，生成一个包含1000个样本的数据集，并通过线性神经网络对该模型进行拟合，得到$\hat{\mathbf{w}}$和$\hat{b}$。于是便可以写成$$\mathbf{y}=\mathbf{X}\mathbf{w}+b+ϵ\text{\hspace{1em}(2.24)}$$其中$\mathbf{X}\in {\mathbb{R}}^{1000\times 2}$。需要注意的是式(2.24)并非严格数学意义上的公式（在数学中向量与标量不能相加），这里的“$+$”相当于Python中的加号，具有广播的作用。
  以下为具体程序（来自文献[1]，略有删改）和注释：

# 导入库
import torch
from torch.utils import data
from torch import nn


# 生成数据
def synthetic_data(w, b, num_examples):
    X = torch.normal(0, 1, (num_examples, len(w)))
    y = torch.matmul(X, w) + b
    y += torch.normal(0, 0.01, y.shape)
    return X, y.reshape((-1, 1))


# 构造一个PyTorch数据迭代器
def load_array(data_arrays, batch_size, is_train=True):
    dataset = data.TensorDataset(*data_arrays)
    return data.DataLoader(dataset, batch_size, shuffle=is_train)


# 初始化线性模型的权重、偏执和噪声项，并生成1000个样本
true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = synthetic_data(true_w, true_b, 1000)

# 设定每一次迭代(iteration)输入网络的数据的数量（batch_suze）
batch_size = 10
data_iter = load_array((features, labels), batch_size)

# 定义网络结构，两个输入，一个输出
net = nn.Sequential(nn.Linear(2, 1))

# 初始化网络的参数
net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)

# 定义网络的损失函数为均方误差
loss = nn.MSELoss()

# 定义训练的优化器为随机梯度下降（有时也成为最速梯度下降），学习率为0.03
trainer = torch.optim.SGD(net.parameters(), lr=0.03)

# 训练，将所有数据输入网络3次为止
num_epochs = 3
for epoch in range(num_epochs):
    for X, y in data_iter:
        l = loss(net(X), y)
        trainer.zero_grad()
        l.backward()
        trainer.step()
    l = loss(net(features), labels)
    print(f'epoch {epoch + 1}, loss {l:f}')

# 输出参数真值和网络参数的误差
w = net[0].weight.data
print('w的估计误差：', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差：', true_b - b)

  运行结果为：

epoch 1, loss 0.000187
epoch 2, loss 0.000101
epoch 3, loss 0.000101
w的估计误差： tensor([ 0.0007, -0.0001])
b的估计误差： tensor([-0.0005])

可以看出，随着训练次数的增加，损失函数的值有下降的趋势，并且经过三轮训练，参数真值和网络拟合的参数的差值较小。

3 BP网络

3.1 多层感知机

  在2.5中提到的单层感知机无法进行线性分类，例如Minsky在1969年提出的异或(XOR)问题。而使用多层感知机，即在输入和输出层间加一层或多层隐藏单元，构成多层感知器，即可解决异或(XOR)问题。
  此外，多层感知器网络还存在如下定理：

1. 若隐层节点（单元）可任意设置，用三层阈值节点的网络，可以实现任意的二值逻辑函数。
2. 若隐层节点（单元）可任意设置，用三层S型非线性特性节点的网络，可以一致逼近紧集上的连续函数或按 范数逼近紧集上的平方可积函数。

3.2 BP算法

  多层前馈网络的误差反向传播(Backward Propagation, BP)学习算法，属于监督学习，是梯度下降法在多层前馈网中的应用。而网络训练的目的，是使对每一个输入样本，调整网络参数，使得输出均方误差最小化。
  假设有N个样本数据为 { x ( 1 ) , y ( 1 ) } , { x ( 2 ) , y ( 2 ) } , ⋯   , { x ( N ) , y ( N ) } \{\boldsymbol{x}^{(1)},\boldsymbol{y}^{(1)}\},\{\boldsymbol{x}^{(2)},\boldsymbol{y}^{(2)}\},\cdots,\{\boldsymbol{x}^{(N)},\boldsymbol{y}^{(N)}\} {x(1),y(1)},{x(2),y(2)},⋯,{x(N),y(N)}。则可选取损失函数：$$J({\mathbf{x}}^{(i)};\mathbf{w})=\frac{1}{2}({\mathbf{y}}^{(i)}-{\hat{\mathbf{y}}}^{(i)}(\mathbf{x};\mathbf{w}){)}^2=\frac{1}{2}({\mathbf{y}}^{(i)}-{\mathbf{a}}^{(i)}(\mathbf{x};\mathbf{w}){)}^2\text{\hspace{1em}(3.1)}$$采用迭代算法，设初始权重为${\mathbf{w}}_0$，k时刻的权重为${\mathbf{w}}_k$，使用泰勒级数展开有
$$J({\mathbf{w}}_{k+1})=J({\mathbf{w}}_k)+[\frac{dJ}{d\mathbf{\theta }}{]}^{\top }\Delta {\mathbf{w}}_k+\cdots \text{\hspace{1em}(3.2)}$$为使$J$最小，应选择$\Delta {\mathbf{w}}_k=-\alpha \frac{dJ}{d\mathbf{w}},0<\alpha \le 1$。这样每一步都能保证$J({\mathbf{w}}_{k+1})\le J({\mathbf{w}}_k)$，从而使$J$最终可收敛到最小。这就是梯度下降算法、BP学习算法的基本思想。

3.3 程序实例

  通过高级API实现多层感知机（程序来自文献[1]，略有删改）。

# 导入库
import torch
from torch import nn
from d2l import torch as d2l

# 定义网络结构
net = nn.Sequential(nn.Flatten(),
                    nn.Linear(784, 256),
                    nn.ReLU(),
                    nn.Linear(256, 10))


# 初始化网络的参数
def init_weights(m):
    if type(m) == nn.Linear:
        nn.init.normal_(m.weight, std=0.01)


net.apply(init_weights);

# 定义训练的超参数及优化器
batch_size, lr, num_epochs = 256, 0.1, 10
loss = nn.CrossEntropyLoss(reduction='none')
trainer = torch.optim.SGD(net.parameters(), lr=lr)

# 根据设置的参数，使用数据集进行训练
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)

  训练历史如图3-1所示。

图3-1 训练历史   由图3-1可见，随着训练周期数的增加，训练集的损失函数值呈下降趋势，正确率呈上升趋势；测试集的正确率波动上升。

参考文献

[1]阿斯顿·张.动手学深度学习[M].北京:人民邮电出版社,2023:85-389.