05 机器学习算法之岭回归

一、 岭回归简介

在处理复杂的数据的回归问题时，普通的线性回归会遇到一些问题。

简单线性回归最主要问题是对异常值敏感。在真实世界的数据收集过程中，经过会遇到错误的度量结果。而线性回归使用的普通最小二乘法，其目标是使平方误差最小化。这时，由于异常值误差的绝对值很大，因此破坏整个模型。

对此，我们引入正则化项的系数作为阈值来消除异常的影响。这个方法称为岭回归。

岭回归在最小二乘法的基础上加上了一个惩罚项。

损失函数:             

 

二、岭回归器的构建

# 数据集存在异常点时，线性回归器的拟合效果不好，“被异常点带到沟里去了”
import numpy as np
import matplotlib.pyplot as plt

np.random.seed(42) # 使得每次运行得到的随机数都一样
x=np.arange(10,20) # 自变量，随便定义的

error=np.random.normal(size=x.shape)
y=1.8*x+5.9+error # 添加随机数作为噪音
print('x={}'.format(x))
print('noise y={}'.format(y))
print('target y={}'.format(1.8*x+5.9))

代码运行结果：

x=[10 11 12 13 14 15 16 17 18 19]
noise y=[24.39671415 25.5617357  28.14768854 30.82302986 30.86584663 32.66586304
 36.27921282 37.26743473 37.83052561 40.64256004]
target y=[23.9 25.7 27.5 29.3 31.1 32.9 34.7 36.5 38.3 40.1]

plt.scatter(x,y)
plt.plot(x,1.8*x+5.9,'-r') # 绘制的是红色的直线
plt.show()

# 以下加入两个异常点，再用线性回归器进行拟合
abnormal_x=[16.5,17.9]
abnormal_y=[25.98,24.12]

# 将异常点绘制出来
plt.scatter(abnormal_x,abnormal_y,marker='x')

# 将异常点加入到原数据集中，构建线性回归器进行拟合，绘制拟合直线
whole_x=np.append(x,abnorm