深度学习
文章平均质量分 92
Kevin404ar
初学者一枚
展开
-
深度学习--梯度下降算法(持续更新)
引入物理学中的动量思想,加速梯度下降,梯度下降在不变的维度上,参数更新变快,梯度有所改变时,更新参数变慢,这样就能够加快收敛并且减少动荡。Adadelta的一个特例,当ρ=0.5时,E就变为了求梯度平方和的平均数;momentum的改进,在梯度更新时做一个矫正,具体做法就是在当前的梯度J上添加上一时刻的动量。NAG:(绿色)先在原来动量方向(棕)迈一大步,然后算梯度(红),得到矫正之后的绿色线。(1)优点:前期在参数空间更为平缓的方向,会取得更大的进步。(1)优点:仅需要计算一个样本的梯度,训练速度很快。原创 2022-11-22 13:06:56 · 880 阅读 · 0 评论 -
深度学习--超参数(持续更新)
通常情况下,一个或者一组优秀的学习率既能加速模型的训练,又能得到一个较优甚至最优的精度。以上两种情况在训练初期以及中期,此时若仍然以固定的学习率,会使模型陷入左右来回的震荡或者鞍点,无法继续优化。在小数据集上,通常微调的效果比从头训练要好很多,因为在于数据量较小的前提下,训练更多参数容易导致过度拟合。对数据的拟合较好,而在实际应用中,也验证了这一点。若有两类超参数,每类超参数有3个待探索的值,对它们进行笛卡尔积后得到9个超参数组合。机器学习中一直说的“调参”,实际上不是调“参数”,而是调“超参数”。原创 2022-11-21 16:50:03 · 13729 阅读 · 0 评论 -
深度学习--激活函数(持续更新)
激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。原创 2022-11-19 22:27:35 · 1830 阅读 · 0 评论 -
深度学习概述以及知识点检索(持续更新)
深度学习概述流程图以及知识点检索原创 2022-11-19 03:06:45 · 222 阅读 · 0 评论