神经网络与深度学习课程总结（一）

参考：动手学深度学习（PyTorch版）Releases · d2l-ai/d2l-zh (github.com)

神经网络与深度学习课程PPT

回归与分类

回归与分类是能为一个或多个自变量与因变量之间关系建模的一类方法，其中回归问题可以用来表示输入与连续输出之间的关系（类似拟合）；分类问题用来表示输入与离散输出之间的关系，常用于预测数据属于一组类别中的哪一个。

线性回归

线性回归即用线性方程描述输入与输出之间的关系，如：

其中hat表示输出的预测值,omega和b为模型参数

为了对参数进行估计，通常要求解以下优化问题（最小二乘法）：

线性分类

线性分类是在回归的基础上增加了Sigmod函数（将输出值限制到0-1之间），随后根据输出值所处区间范围进行分类。

BP神经网络

BP神经网络即多层前馈神经网络，由多层感知机组成，如下图：

可以将图中的每一个箭头理解为一个线性函数，即一个箭头代表两个参数（w,b）；

BP神经网络可以代替前文中的线性模型，从而实现回归或分类任务。前者模型参数量更大，可以进行更高维度（非线性）的拟合，同时容易出现过拟合现象。

反向传播

将输入带入模型，计算输出的过程称为前向传播；而反向传播则用于求解参数的梯度，各类神经网络的优化求解都依赖于反向传播，尽管模型不同，但原理都依赖于链式求导法则。这里推荐参考https://zhuanlan.zhihu.com/p/83496936（LSTM反向传播）或4.RNN梯度消失回顾（公式推导）_哔哩哔哩_bilibili

训练流程

优化算法

动量法

自适应梯度法

RMSProp算法

Adam算法