DL_笔记_正则化

最新推荐文章于 2024-08-08 17:45:51 发布

However--But

最新推荐文章于 2024-08-08 17:45:51 发布

阅读量87

点赞数

文章标签：深度学习神经网络机器学习

本文链接：https://blog.csdn.net/qq_41008618/article/details/120278385

版权

深度学可能存在的过拟合问题--高方差，其解决方法有正则化和准备更多的数据。

正则化：L2正则化（权重衰减）、dropout正则化

L2正则化：

成本函数：

$J(w,b)=\frac{1}{m} \sum_{i=1}^{m}L(\widehat{y}^{(i)},y^{(i)})+\frac{\lambda }{2m}\left \| w^{[l]} \right \|^{^{2}}$

其中， $\frac{\lambda }{2m}\left \| w \right \|^{^{2}}$ 为正则项。

梯度下降：

$w^{[l]}=w^{[l]}-\alpha \frac{\partial }{\partial w^{[l]}}J(w^{[l]},b^{[l]})+\frac{\lambda }{m}w^{[l]}$

dropout正则化：

首先要定义向量𝑑，𝑑 [3]表示一个三层的 dropout 向量：

d3 = np.random.rand(a3.shape[0],a3.shape[1])
a3 =np.multiply(a3,d3)

然后向外扩展𝑎 [3]，用它除以 keep-prob 参数：𝑎3/= 𝑘𝑒𝑒𝑝 − 𝑝𝑟𝑜𝑏

---------------------------------------------------------------------------------------------------------------------------------

归一化输入：

1、零均值化：

然后用x减去 $\mu$ ，

$x=x-\mu$

2、归一化方差：

$x=\frac{x}{\sigma ^{2}}$

在隐藏单元中进行归一化处理： $\gamma =\mu$ ；

Mini-batch梯度下降：

符号的规范：使用上角小括号(𝑖)表示训练集里的值，所以𝑥 (𝑖)是第𝑖个训练样本。用上角中括号[𝑙]来表示神经网络的层数，𝑧 [𝑙]表示神经网络中第𝑙层的𝑧值，用大括号𝑡来代表不同的mini-batch，所以有𝑋 {𝑡}和𝑌 {𝑡}。

𝑋 {𝑡}和𝑌 {𝑡}的维数：如果𝑋 {1}是一个有 1000 个样本的训练集，或者说是 1000 个样本的𝑥 值，所以维数应该是( $n_{x}$ , 1000)，𝑋 {2}的维数应该是( $n_{x}$ ，1000)，以此类推。因此所有的子集维数都是( $n_{x}$ , 1000)，而这些（𝑌 {𝑡}）的维数都是(1,1000)。