深度学习
文章平均质量分 72
hxj_rain
流浪不是理想主义。
展开
-
L2 normalization 为什么能够降低过拟合
L2 normalization 为什么能够降低过拟合? 假设 cost function 为: J(w,b)=1m∑i=0n(yi^−yi)2+λ2m∑l=1L||w[l]||2F J(w,b) = \frac{1}{m}\sum_{i=0}^{n}(\hat{y_i}-y_i)^{2} + \frac{\lambda}{2m}\sum_{l=1}^{L}||w^{[l]}||_F^2其中:原创 2017-10-07 16:43:54 · 2191 阅读 · 0 评论 -
正则化
正则化正则化的定义为: “旨在减少学习算法的泛化误差,而不是训练误差的修改”。一个有效的正则化时有利的“交易”,也就是能够显著减小方差,而不会过度增加偏差。参数范数惩罚我们将正则化的目标函数记为:J^(θ;X.y)=J(θ;X,y)+αΩ(θ)\hat{J}(\theta;X.y) = J(\theta;X,y)+\alpha\Omega(\theta)参数规范Ω\Omega 的不同选择可以导致不原创 2017-10-09 20:15:57 · 526 阅读 · 0 评论