深度学习
zzzley
这个作者很懒,什么都没留下…
展开
-
反向传播,
如果想计算当前偏导值,就要计算出下一层的值,直到最后一层。原创 2022-04-15 14:44:39 · 38 阅读 · 0 评论 -
分类classification
输入x是二维的。图片最下面的L函数表示可能性likelihood,都是独立分布的,所以可以相乘。需要找到一个缪和∑,使L()函数最小。原创 2022-04-17 10:50:41 · 52 阅读 · 0 评论 -
判断一个模型错误是否因为模型简单,优化问题,过拟合。
首先,判断损失函数在训练集上的误差大小。误差大,可能有两种情况,一是模型不好,太过于简单。二是优化不行,比如梯度下降时,找到的是局部最优值,而不是全局最优值。模型太简单。比如大海捞针,针却不在...原创 2022-04-18 20:45:29 · 384 阅读 · 0 评论 -
sigmoid函数,用sigmoid导出神经网络,前馈传播。
1.sigmoid函数2.红色曲线用不同的sigmoid表示原创 2022-04-13 14:08:48 · 703 阅读 · 0 评论 -
损失函数,梯度下降
1.损失函数平均绝对误差MAE平均平方误差MSE2.梯度下降gradient descent原创 2022-04-10 13:58:57 · 95 阅读 · 0 评论 -
残差网络resnet
原创 2022-04-08 19:36:42 · 49 阅读 · 0 评论 -
局部最小,局部最大,马鞍点。
损失函数优化失败,可能是因为局部最小,也有可能是因为马鞍点。损失函数L斯塔,可以用附近点的损失函数表示。g是梯度函数,H是海森函数。critical point是临界点。此时梯度g为0。H的特征值全都大于0时,此时斯塔点为局部最小点。H的特征值全都小于0时,此时斯塔点为局部最大点。否则为马鞍点。...原创 2022-04-18 21:01:55 · 362 阅读 · 0 评论