深度学习
文章平均质量分 73
GottenZZP
努力,奋斗!
展开
-
科研小trick,早停技巧,用过的都说好~,爸爸妈妈再也不怕我过拟合啦
Early stopping 在我们训练神经网络的时候,若出现过拟合的情况下,如果我们将验证集的验证误差和训练集的训练误差画图出来,将呈现下图所示的情况 可以看出,在过拟合的时候,验证误差随着迭代次数的增加一般呈现出先下降,然后再上升的一个趋势 通过画出这么一个图后,我们就可以找到验证误差上升到那个点的迭代次数,然后只取迭代这么多次的参数来防止过拟合,这就是early stopping的主要思想 有了这个思想呢,在你训练模型的时候,你就可以在代码中进行设置,若训练过程中x次(我一般设置为3次)在验证原创 2024-05-09 10:41:24 · 497 阅读 · 0 评论 -
深度学习常用优化算法笔记介绍,各种梯度下降法详细介绍
1002425...32vtβvt−11−βθtvtθtβv10.9∗01−0.9242.4vtvt1−βtvt1−βtβvt−11−βθtv1v11−0.910.9∗01−0.9∗2424tβtvdwβ1vdw1−β1dwvdbβ1vdb。原创 2024-05-08 17:00:35 · 1012 阅读 · 0 评论 -
深度学习:自注意力机制详细笔记(嘎嘎通俗易懂,草履虫都直呼简单)
深度学习自注意力机制详细笔记原创 2024-05-05 09:57:36 · 1769 阅读 · 0 评论