机器学习算法—线性回归

2.线性回归（regression）
线性回归（Linear Regression）基于连续变量（s）的实数值估计（房屋价格，通话数量，总销售额等）。在这里，我们通过拟合一条最佳直线来建立自变量（x）和因变量（y）之间的关系。这个最佳拟合线称为回归线，用线性方程 y= a * x+b 表示。
线性回归主要有两类：简单线性回归和多元线性回归。简单线性回归的特点是只有一个自变量。多元线性回归的特征是有多个（大于 1）独立变量。当然，为了找到最佳拟合线，可以使用多项式拟合或曲线拟合，分别称为多项式回归和曲线回归。
from sklearn.linear_model import LinearRegression
model1 = LinearRegression()
model1.fit(X_train, Y_train)
accuracy1 = model1.score(X_train, Y_train)

岭回归
简单来说，岭回归就是在矩阵 上加一个 λI 从而使得矩阵非奇异，进而能对 求逆。其中矩阵I是一个 n * n （等于列数） 的单位矩阵， 对角线上元素全为1，其他元素全为0。而λ是一个用户定义的数值，后面会做介绍。在这种情况下，回归系数的计算公式将变成：
岭回归最先用来处理特征数多于样本数的情况，现在也用于在估计中加入偏差，从而得到更好的估计。这里通过引入 λ 来限制了所有 w 之和，通过引入该惩罚项，能够减少不重要的参数，这个技术在统计学中也叫作 缩减(shrinkage)。
model = Ridge(alpha=1.0, fit_intercept=True, normalize=False, copy_X=True, max_iter=None, tol=0.001, solver=‘auto’,
random_state=None)
# 其中alphha为正则化前面的系数