深度学习
leemusk
这个作者很懒,什么都没留下…
展开
-
梯度消失和梯度爆炸
1. 前向传播和反向传播在讲解梯度消失和梯度爆炸之前,我们需要先了解什么是前向传播和反向传播。前向传播: 输入层数据开始从前向后,数据逐步传递至输出层。反向传播: 损失函数从后向前,梯度逐步传递至第一层。在讲解前向传播和反向传播计算过程之前,我们先介绍一下计算图的概念,通过计算图可以很清楚的了解后向传播的计算过程,以3层网络为例。蓝色圆圈表示运算操作,分别为乘法,激活函数,乘法,损失函数;白色框框表示传播的数值;蓝色框框表示权重;前向传播不同多说,不断的乘以权重在通过激活函数即可;反向传播的原创 2020-07-24 16:49:50 · 1143 阅读 · 0 评论 -
pytorch框架学习---损失函数
损失函数是什么?损失函数衡量模型输出与真实标签的差异损失函数、代价函数、目标函数的关系?损失函数:计算目标是单个样本代价函数:计算目标是整个样本,计算每个样本的损失函数求和再取均值。目标函数:在代价函数的基础上加上正则化项,目的是为了防止过拟合,造成代价函数小但泛化能力差。下面介绍Pytorch中的十四种损失函数损失函数功能注意事项主要参数使用场景计算公式nn.CrossEntropyLossnn.LogSoftMax()与nn.NLLLoss()结合,进行交叉熵原创 2020-06-07 09:07:14 · 330 阅读 · 0 评论