Datawhale X 李宏毅苹果书 AI夏令营第五期深度学习入门 task 2

Kesenal

已于 2024-08-28 22:01:17 修改

阅读量799

点赞数 13

文章标签：人工智能深度学习

于 2024-08-28 11:21:30 首次发布

本文链接：https://blog.csdn.net/Kesenal/article/details/141631148

版权

1 线性模型的局限性

在上一篇中Datawhale AI夏令营第五期深度学习入门（1）-CSDN博客我们仅仅构建了一个简单的线性模型，它只是一条倾斜的直线。

显然，这种单一直线的局限性使其注定预测不了复杂多样的情况（Model Bias)，如周期性的波动。

2 线性与非线性的互相转化

但是我们可以联想到高中物理或者微积分的一个测量思路——“化曲为直”，既然一条直线线段无法准确测量弯曲的线段，我们可以用尽可能多的直线线段与拟合逼近，当线段数趋于无穷大的时候，误差接近零。

但是所利用的直线线段 (Hard Sigmoid) 为分段函数，表现形式较为复杂。我们可以用一个曲线函数（Sigmoid）去逼近，同时进一步减少误差。

Sigmoid函数的表达式：

$\text{Sigmoid}(y) = c\frac{1}{1 + e^{-y}}$

$y = wx + b$

其中y为原来的线性模型，c为一个超参数。

如果我们想拟合一个函数，通常可以写成以下形式：

$\hat{y} = \sum_{i=1}^{n} c_i \cdot \frac{1}{1 + e^-{(b_i+\sum_{j=1}^{m}w_jx_j)}} + b$

至此，原来的线性模型转换为非线性模型，它更加复杂更加灵活了。

3 BP神经网络的构建

3.1 神经网络的原理

其实通过刚才第2部分的过程，我们可以很自然的联想到经典的BP神经网络模型。BP神经网络大致分为三种层——输入层、隐藏层、输出层。输入层的神经元根据对应权重，给下一层的隐藏层传入输入层神经元的线性组合值，然后隐藏层利用该值输出其激活函数值按同样步骤传入下一层，直到输出结果。简单的来说，我们从线性模型出发，最后经过变化拟合成一个非线性的模型。

常见的激活函数除了Sigmoid函数，还有ReLU函数，其表达式为：

$\text{ReLU}(x) = \max(0, x)$

当x大于0，对x的导数为1，输出x；否则，对x的导数为0 输出0。

需要注意的是当x=0，ReLU函数无意义，即x=0为断点，使其整体是非线性的，从而结合其分段函数的表现使其可以拟合复杂的非线性曲线。

3.2 BP (Backpropagation)

当然，我们几乎不可能通过一次尝试拟合就能得到我们满意的结果。我们需要计算每一次的误差，进行梯度下降来优化我们的参数，以不断减小误差。

我们可以这么想，想改变一个未知参数，我们需要得到的它的偏导数，我们最终的目的是优化到输入层的未知参数。但想要得到一个偏导数就得得到前一个偏导数进行推导，显然，我们得从根据输出结果从输出层开始进行梯度下降，直到优化输入层的未知参数。这个过程，我们称为BP (Backpropagation) ——反向传播，不断迭代。当层数足够多，迭代次数足够多，误差足够小，我们就能得到一个比较好的深度学习模型。

而且进行计算误差时，我们为了权衡效率与性能，我们采取按批量进行梯度下降。我们不一次性用所有的样本计算误差来进行梯度下降，而是划分成一个个批量，用每一个批量计算误差来不断进行梯度下降。每一个批量的大小（batch size）同样是超参数。也就是说，每一个回合的迭代次数取决于批量大小。