深度学习的一些概念了解（结合自己看的视频课程和datawhale AI夏令营的课程做的笔记）

最新推荐文章于 2024-07-28 15:37:27 发布

asdwyf

最新推荐文章于 2024-07-28 15:37:27 发布

阅读量676

点赞数 22

文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/asdwyf/article/details/140508633

版权

神经网络是一种模仿生物神经网络结构和功能的计算模型，由神经元构成（加权和激活函数）

神经网络信息只向一个方向移动，从输入节点向前移动，通过隐藏节点，再向输出节点移动。基本部分是：

特点：

激活函数用于对没测呢个的输出数据进行变换，进而为整个网络注入了非线性因素。此时，神经网络就可以拟合各种曲线。

sigmoid激活函数

激活函数公式： $f(x) = \frac{1}{1+e^{-x}}$

激活函数求导公式： $f{\prime}(x) = (\frac{1}{1+e^{-x}}){\prime} = \frac{1}{1+e^{-x}}(1-\frac{1}{1+e^{-x}}) = f(x)(1-f(x))$

ReLU函数

ReLU公式如下： $f(x) = max(0,x)$

激活函数求导公式：： $f{\prime}(x)=$ 0或1

SoftMax函数

softmax用于多分类过程中，它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。

$softmax(z_i)=\frac{e^{z_i}}{\sum_j{e^{z_j}}}$

在深度学习中，损失函数是是用来衡量模型参数的质量的函数，衡量的方式是比较网络输出和真实输出的差异

在多分类任务通常使用softmax将logits转换为概率的形式，所以多分类的交叉熵损失也叫做Softmax损失

2.1 二分类损失函数

在处理二分类任务时，我们不再使用softmax激活函数，而是使用sigmoid激活函数，那损失函数也相应的进行调整，使用二分类的交叉熵损失函数：

$L=-ylog\widehat{y}-(1-y)log(1-\widehat{y})$

其中:

梯度下降法是一种寻找使损失函数最小化的方法。从数学上的角度来看，梯度的方向是函数增长速度最快的方向，那么梯度的反方向就是函数减少最快的方向，所以有：

$W_{ij}^{new}=w_{ij}^{old}-\eta\frac{\partial E}{\partial w_{ij}}$

其中，η是学习率，如果学习率太小，那么每次训练之后得到的效果都太小，增大训练的时间成本。如果，学习率太大，那就有可能直接跳过最优解，进入无限的训练中。解决的方法就是，学习率也需要随着训练的进行而变化。

模型训练基础概念

前向传播：指的是数据输入的神经网络中，逐层向前传输，一直到运算到输出层为止。反向传播(Back Propagation)：利用损失函数ERROR，从后往前，结合梯度下降算法，依次求各个参数的偏导，并进行参数更新

关注