机器学习笔记（十八）：模型正则化

云布道师

于 2020-07-09 19:09:24 发布

阅读量759

点赞数 1

本文链接：https://blog.csdn.net/bjchenxu/article/details/107241497

版权

凌云时刻 · 技术

导读：上一篇我们在验证数据集概念的基础上讲了交叉验证。这一篇我们继续来讲模型正则化。

作者 | 计缘

来源 | 凌云时刻（微信号：linuxpk）

模型正则化（Regularization）

在说模型正则化之前，我们先来看一个例子：

import numpy as np
import matplotlib.pyplot as plt

# 构建和之前一样的样本数据
x = np.random.uniform(-3, 3, size=100)
X = x.reshape(-1, 1)
y = 0.5 * x ** 2 + x + 2 + np.random.normal(0, 1, size=100)

# 将这些的折线图绘制出来
plt.plot(np.sort(x), y[np.argsort(x)], color='r')
plt.show()

可以看到当计算y的方程，多项式前的系数比较低（0.5和1）的时候折线图在横轴从-3到3，纵轴从-1到10的坐标系里还能全部展现，如果将这两个系数扩大10倍，会出现什么情况呢：

y1 = 5 * x ** 2 + 10 * x + 2 + np.random.normal(0, 1, size=100)
plt.plot(np.sort(x), y1[np.argsort(x)], color='r')
plt.axis([-3, 3, -1, 10])
plt.show()

可以看到这个折线图波动已经非常大了，在同样的坐标系中只能展现出一部分了。我们再来回顾一下前面的那张过拟合的图：

上图中，两侧的曲线图波动非常大，其实就说明了这条曲线的线性多项式方程的系数非常大，那么模型正则化做的事情就是限制这些系数的大小。

下面来看看模型正则化的基本思路，在第四篇笔记中将多元线性回归问题的时候，我们知道最终求的是下面这个函数的最优解，既让下面这个损失函数的值尽可能的小：

下面我们来转变一下这个损失函数：

我们在损失函数里加了一‍‍部分，此‍‍时要想让损失函数尽可能的小，就不能只考虑前面那一部分了，还要考虑后面新加的这一部分，又因为后面这部分包含多项式系数的平方，所以就整体约束了多项式系数的大小。这就是模型正则化的基本思路。

这里‍‍的就是‍‍一个新的超参数，它的含义代表在模型正则化下，新的损失函数中每一‍‍个都尽可能‍‍的小，这个小的程度占整个优化损失函数的多少。比如如果‍‍ ‍‍是0，那么相当于损失函数没有加入模型正则化，如‍‍果 ‍‍非常非常大，那么真正的损失函数就可以忽略了，主要考虑使模型正则化中‍‍的 ‍‍尽可能小。所以 ‍‍的作用就是让真正的损失函数尽可能小和新加入的模型正则化中的‍‍ 尽‍‍可能小之间找到一个平衡，在实际的运用中，不同的数据‍‍，的‍‍取值也不同，是需要有不断调‍‍整这个‍‍超参数的过程。

岭回归（Ridge Regression）

在模型正‍‍则化中，加入的‍‍方式，称之为岭回归。下面通过不使用模型正则化和使用岭回归对比来看看：

import numpy as np
import matplotlib.pyplot as plt

# 构建样本数据
np.random.seed(666)
x = np.random.uniform(-3, 3, size=100)
X = x.reshape(-1, 1)
y = 0.5 * x + 3 + np.random.normal(0, 1, size=100)

plt.scatter(x, y)
plt.show()

# 导入Pipeline和其他需要打包进Pipeline的类
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression

# 将样本数据集拆分为训练数据集和测试数据集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, random_state=666)

# 构建多项式线性回归Pipeline
def PloynomialRegression(degree):
	return Pipeline([
		("poly", PolynomialFeatures(degree=degree)),
		("std_scalar", StandardScaler()),
		("lr", LinearRegression())
	])

# 导入均方误差MSE函数
from sklearn.metrics import mean_squared_error

ploy_reg = PloynomialRegression(degree=20)
ploy_reg.fit(X_train, y_train)
y_poly_predict = ploy_reg.predict(X_test)
mean_squared_error(y_test, y_poly_predict)
# 结果
1.9558727426614517

X_ploy = np.linspace(-3, 3, 100).reshape(100, 1)
y_ploy = ploy_reg.predict(X_ploy)

plt.scatter(x, y)
plt.plot(X_ploy[:, 0], y_ploy, color='r')
plt.axis([-3, 3, 0, 6])
plt.show()

可以看到不试用模型正则化时，MSE为1.95，虽然数值不大，但是拟合曲线的波动非常大，是一个过拟合的特征。下面来看看使用模型正则化岭回归后结果会怎样：

# 导入Scikit Learn中岭回归的类Ridge
from sklearn.linear_model import Ridge

# 构建通过岭回归进行模型正则化的Pipeline，有两个超参数degree和alpha
def RidgeRegression(degree, alpha):
	return Pipeline([
		("poly", PolynomialFeatures(degree=degree)),
		("std_scalar", StandardScaler()),
		("rr", Ridge(alpha=alpha))
	])

ridge_reg = RidgeRegression(20, 0.0001)
ridge_reg.fit(X_train, y_train)

y_ridge_predict = ridge_reg.predict(X_test)
mean_squared_error(y_test, y_ridge_predict)
# 结果
1.0033258623784587

X_ridge = np.linspace(-3, 3, 100).reshape(100, 1)
y_ridge = ridge_reg.predict(X_ridge)

plt.scatter(x, y)
plt.plot(X_ridge[:, 0], y_ridge, color='r')
plt.axis([-3, 3, 0, 6])
plt.show()

使用岭回归后MSE降低到1，并且拟合曲线波动平缓了许多，尤其是曲线两头。这就是模型正则化的作用。

LASSO 回归(Least Absolute Shrinkage and Selection Operator Regression)

其实岭回归和LASSO都是模型正则化的一种具体实现，区别就在于增加的模型正则公式不同。岭回归增加的‍‍是，‍‍而LASSO回归中增加的‍‍‍‍是。

下面来看看相同的数据使用LASSO回归后的结果：

import numpy as np
import matplotlib.pyplot as plt
# 构建样本数据
np.random.seed(666)
x = np.random.uniform(-3, 3, size=100)
X = x.reshape(-1, 1)
y = 0.5 * x + 3 + np.random.normal(0, 1, size=100)

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, random_state=666)

# 导入Pipeline和其他需要打包进Pipeline的类
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import Lasso
from sklearn.metrics import mean_squared_error

def LassoRegression(degree, alpha):
	return Pipeline([
		("poly", PolynomialFeatures(degree=degree)),
		("std_scalar", StandardScaler()),
		("lasso", Lasso(alpha=alpha))
	])

lasso_reg = LassoRegression(20, 0.01)
lasso_reg.fit(X_train, y_train)

y_lasso_predict = lasso_reg.predict(X_test)
mean_squared_error(y_test, y_lasso_predict)
# 结果
0.90488682905372464

X_lasso = np.linspace(-3, 3, 100).reshape(100, 1)
y_lasso = lasso_reg.predict(X_lasso)

plt.scatter(x, y)
plt.plot(X_lasso[:, 0], y_lasso, color='r')
plt.axis([-3, 3, 0, 6])
plt.show()

可以看到相同的数据，通过LASSO处理后的模型MSE更小一些，拟合曲线也更平滑。

岭回归和LASSO回归的数学含义上的区别

下面来解释一下岭回归和LASSO回归之间深层意义上的区别。先来看看岭回归，在前面讲过，‍‍当 ‍‍趋近无穷大时，真正的损失函数就可以忽略了，模型正则化后的损失函数就变成了求解模型正则公式的最小值，‍‍既求的最小值，那么该公式的梯度就是对‍‍ 求‍‍导可得：

数据点按照梯度一步一步寻求最优解，如下图：

所以经过岭回归处理后训练出的模型，拟合线基本都是曲线。

再来看看LASSO回归，‍‍当 ‍‍趋近无穷大时，我们只考虑，但是是不可导的，我们使用数学符号函数来表示其梯度：

符号函数是很有用的一类函数，能够帮助我们实现一些直接实现有困难的情况。在数学和计算机运算中，其功能是取某个数的符号（正或负），既当时，，当时，，当时，。

对于而言，当时，就相当于这条直线，当时，就相当于这条直线。当数据点按照LASSO的梯度寻找最优解的路线是下图情况：

可以看到真正的寻址路线是橘黄色的虚线，应该中间有很多点直接打到了轴，所以绘制出的拟合蓝色线很多时候就是一条直线，而不是曲线。那些为0的梯度，既损失函数中的一部分为0，这也就说明了LASSO中最后的SO（Selection Operator）选择操作符的含义，既将一些噪音比较大的特征过滤掉，选择出主要的、有用的特征。但是这是有风险的，因为很有可能LASSO将实际有用的特征给过滤掉了，所以就模型正则化的准确率来说，岭回归还是更好一些。但是在处理有巨大量特征的样本数据时，使用LASSO可以作为降低特征数量的一种方法。

LP范数

在数学定义上，范数包括向量范数和矩阵范数，向量范数表示向量空间中向量的大小，矩阵范数表征矩阵引起向量变化的大小。比如对于向量范数，向量空间中的向量都是有大小的，这个大小如何度量，就是用范数来度量的，不同的范数都可以来度量这个大小，就好比米和尺都可以来度量远近一样。对于矩阵范数，我们知道，通过运算，可以将向量变化为矩阵，矩阵范数就是来度量这个变化大小的。

下面我们再来看一张图：

上图展示了模型正则化岭回归、LASSO回归，线性回归评测标准均方误差（MSE）、平均绝对误差（MAE），距离公式欧拉距离、曼哈顿距离之间的对比。我们可以发现一个很有意思的现象，第一行的三个公式都是平方求和的模式，第二行的三个公式都是绝对值求和的模式。其实虽然机器学习中的公式、名词很多，但是究其背后的数学原理都是有规律可循的。

我们在讲KNN时知道它除了这个超参数外还有一个超参数，继而介绍了明可夫斯基距离：