阅读
風坞
这个作者很懒,什么都没留下…
展开
-
关于学习transformer那些事
transformer的学习笔记和相关学习链接索引(个人用)原创 2022-03-14 21:24:03 · 3372 阅读 · 0 评论 -
论文阅读(Improving neural networks by preventing co-adaptation of feature detectors )
显然看不懂英文然后出于各种原因最终被迫搜索了翻译版本,如有错误欢迎指出 介绍主体: DropOut 目的: 对战过拟合的基础上提升速度和学习能力(力速双A✔) 思路: 通过在每个训练案例上随机省略一般的特征检测器而减小过拟合率。每一个神经元去学习如何检测特征更有助于得出正确答案。 具体实现: 每个训练案例的每个呈现上,每个隐藏单元被随机地从网络中以0.5的概率省略。 在测试过程中,每一个隐藏层的神经元都能保持激活,但是,必须将输出值乘以0.5,这是因为在测试的过程中,相比于训练过程,增加了一倍的神经元数目原创 2021-02-28 19:22:55 · 228 阅读 · 0 评论