![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习【花书】阅读笔记
文章平均质量分 61
ArchibaldChain
这个作者很懒,什么都没留下…
展开
-
【花书阅读笔记】第七章正则化 第二部分
【花书阅读笔记】第七章:深度学习中的正则化 Part II提前终止在训练过程中训练集误差逐渐降低,但是测试集误差逐渐升高我们只要返回验证集误差最低的参数设置,可以获得验证集误差更低的模型。提前终止(early stopping):当算法停止时,我们返回的这些参数不是最新的参数。当验证集上的误差在指定的循环次数内没有进一步改善时, 算法就会终止。令 n 为评估间隔的步数。 令 p 为“耐心 (patience)",即观察到较坏的验证集表现 ppp 次后终止。 令 θo\theta_{o}θo 为原创 2020-08-07 19:54:05 · 242 阅读 · 0 评论 -
【花书阅读笔记】第七章:深度学习中的正则化 Part I
【花书阅读笔记】第七章:深度学习中的正则化 Part I参数范数惩罚许多正则方法是对目标函数JJJ添加了一个惩罚范数Ω(θ)\Omega(\theta)Ω(θ)J~(θ;X,y)=J(θ;X,y)+αΩ(θ)\tilde{J}(\boldsymbol{\theta} ; \boldsymbol{X}, \boldsymbol{y})=J(\boldsymbol{\theta} ; \boldsymbol{X}, \boldsymbol{y})+\alpha \Omega(\boldsymbol{\t原创 2020-07-29 17:16:40 · 238 阅读 · 0 评论 -
花书阅读笔记:卷积神经网络
Convolution Notes万能近似定理万能近似定理(universal approximation theorem)(Hornik et al., 1989; Cybenko, 1989) 表明,一个前馈神经网络如果具有线性输出层和至少一层具有任何一种 ‘‘挤压’’ 性质的激活函数(例如logistic sigmoid激活函数)的隐藏层,只要给予网络足够数量的隐藏单元,它可以以任意的精度来近似任何从一个有限维空间到另一个有限维空间的 Borel 可测函数动机卷积运算通过三个重要的思想来帮助改原创 2020-07-22 14:32:32 · 240 阅读 · 0 评论