正则化：

正则化：$L_0$,$L_1$,$L_2$正则化

​ 通过设计不同的层数，大小的网络模型可以为优化算法提供初始的函数假设空间，但是模型的实际容量可以随着网络参数的优化更新产生变化，以一个多项式函数模型为例：
$$y={\beta }_o+{\beta }_{1}x+{\beta }_2{x}^2+{\beta }_3{x}^3+......{\beta }_n{x}^n+\epsilon$$
​ 如果在训练的过程中，网络参数${\beta }_k,...{\beta }_n=0$ ,那么网络的实际容量退化到$k$ 次多项式的函数容量。所以通过网络的稀疏性，可以来约束网络的实际容量。这种约束一般通过在损失函数上添加惩罚项来增加参数的稀疏性来实现的，未添加约束之前的优化目标是：
$$MinimizeL(f_{\theta }(x),y),(x,y)\in D^{train}$$
对模型增加约束项之后的，优化的目标变为：
$$MinimizeL(f_{\theta }(x),y)+\lambda \ast \Omega (\theta ),(x,y)\in D^{train}$$
其中，$\Omega (\theta )$是对网络参数$\theta$ 的稀疏性约束函数。一般的，参数的稀疏性约束的$L$ 范数的实现，
$$\Omega (\theta )=\sum _{{\theta }_i}||{\theta }_i|{|}_l$$
​ 新的优化目标除了要最小化原来的损失函数$L(x,y)$ 之外，还要约束网络参数的稀疏性，优化算法会在降低$L(x,y)$ 的同时，尽可能破事网络参数${\theta }_i$ 变得稀疏，他们之间的权重关系通过超参数$\lambda$ 来平衡，较大的$\lambda$ 意味着网络的稀疏性更加重要；较小的$\lambda$ 意味着网络的训练误差更重要。通过选择合适的超参数可以获得较好的训练性能，同时保证了网络的稀疏性，获得不错的泛化能力。常用的正则化有$L_0,L_1,L_2$正则化。

$L_0$ 正则化：

​ $L_0$ 正则化是指用 $L_0$ 范数作为稀疏性惩罚项$\Omega (\theta )$ 的正则化方式，即
$$\Omega (\theta )=\sum _{{\theta }_i}||{\theta }_i|{|}_0$$
$L_0$ 范数$||{\theta }_i|{|}_0$ 定义为${\theta }_i$ 中的非0 元素的个数。通过约束${\sum }_{{\theta }_i}||{\theta }_i|{|}_0$ 的大小可以使得网络中的连接权值大部分为0，从而降低网络实际参数量和网络容量。由于$L_0$ 范数 $||{\theta }_i|{|}_0$ 并不可导，不能利用梯度下降算法进行优化，在神经网络中使用的并不多。

$L_1$ 正则化：

采用$L_1$ 范数作为稀疏性惩罚项$\Omega (\theta )$ 的正则化方式叫做$L_1$ 正则化，
$$\Omega (\theta )=\sum _{{\theta }_i}||{\theta }_i|{|}_1$$
其中，$L_1$ 范数$||{\theta }_i|{|}_1$ 定义为张量$\theta_i $ 中的所有元素的绝对值之和。$L_1$ 正则化也叫做Lasso Regularization,他是连续可导的，在神经网络中使用广泛。

#创建网络权重w1,w2
w1 = tf.random.normal([4,3])
w2 = tf,random.normal([4,3])
#计算L_1正则化
loss_reg = tf.reduce_sum(tf.math_abs(w1))+tf.reduce_sum(tf,math.abs(w2))

$ L_2$ 正则化：

采用$L_2 $ 范数作为稀疏性惩罚项$\Omega (\theta )$ 的正则化方式叫做$L_2$ 正则化，
$$\Omega (\theta )=\sum _{{\theta }_i}||{\theta }_i|{|}_2$$
其中，$L_2 $ 范数$||\theta_i||_2 $ 定义为张量$\theta_i $ 中的所有元素的平方和。$ L_2$ 正则化也叫做 Ridge Regularization，他和$ L_1$ 正则化一样，也是连续可导的。

#计算L_2的正则化
loss_reg = tf.random.sum(tf.squre(W1))+tf.random.sum(tf.squre(w2))

正则化效果：

下面四个图分别表示正则化系数$\lambda =0.00001,0.001,0.1,0.13$ ,从结果可以看出，随着正则化系数$\lambda$ 的增加，网络对参数的稀疏性惩罚变大，从而使得优化算法搜索网络容量更小的模型。在 $\lambda$ =0.00001时，正则化的作用比较微弱，网络出现过拟合，但是$\lambda$ =0.1时，网络已经找到了合适的容量，过大时会出现欠拟合现象。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZB24Ng2l-1578908838294)(C:\Users\fang-\AppData\Roaming\Typora\typora-user-images\1578902857917.png)]

所以，在实际训练时，一般先采用较小的正则化系数$\lambda$ ，观测网络是否会出现过拟合现象。然后尝试逐渐增大$\lambda$ 参数来增加网络参数的稀疏性，提高泛化能力。但是，过大的$\lambda$ 可能会导致网络的不收敛，要根据实际任务进行调节。

不同的正则化系数$\lambda$ 约束会对网络权值产生影响。正则化系数越小，网络中的权值数值相对较大，正则化作用较弱；正则化系数越大，网络中的权值数值相对较小，正则化作用较强。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6YmtWz6z-1578908838295)(C:\Users\fang-\AppData\Roaming\Typora\typora-user-images\1578908693052.png)]

的权值数值相对较小，正则化作用较强。

[外链图片转存中…(img-6YmtWz6z-1578908838295)]