防止模型过拟合之权重正则化

权重正则化是对模型的权重进行约束，可以防止模型过拟合。通过对模型的权重进行约束，可以让模型权重趋向于接近0的值。

理解权重正则化为什么可以防止过拟合，我们先考虑一种极端情况，当模型的某个权重等于0的时候，对应的那项特征无论取任何值，经过与权重0相乘，得到的结果始终是0。这相当于权重为0对应的那项特征，对最终的结果没有影响。再思考权重正则化，经过正则化之后，模型里面的一部分权重非常接近0，说明这部分权重对应的特征对模型结果的影响很小。这就相当于，我们建立的模型，仅提取了特征中对最终结果影响明显的特征，也即使用了比较少的特征量，对问题进行建模。这样就类似于让模型抓住问题的本质，所以更具有普适性，也就不容易过拟合了。

---

在tensorflow2中使用权重正则化非常的简便，在构建层的时候，添加想要使用的正则化方法就可以了。比如在Dense层里面，对权重参数w添加L2的正则化，可以这样实现。注意观察这里kernel_regularizer的配置。

tf.keras.layers.Dense(units=20, activation='relu', kernel_regularizer=tf.keras.regularizers.L2(), input_shape=(13,), name='dense_1')

我们以boston房价数据为例，观察一下是否使用权重正则化、使用不同的权重正则化方法，其权重参数会如何变化。

import tensorflow as tf
import matplotlib.pyplot as plt
import nump