线性回归算法梳理

1.机器学习的一些概念

机器学习（LM）图示

• 有监督学习：从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。监督式学习的常见应用场景如分类问题和回归问题。例如：有一组病人，给出他们的详细资料，将他们是否已确诊患病作为标签，然后预测其他病人是否会患病，如果我们训练的结果是患病和不患病之类离散的类型，则称为分类（Classification）；如果我们训练的结果是患病的概率为0.32之类连续的数字，则称为回归（Regression）。
• 无监督学习：数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等。
• 泛化能力：学习到的模型对未知数据的预测能力。
• 过拟合：模型把数据学习的太彻底，以至于把噪声数据的特征也学习到了，这样就会导致在后期测试的时候不能够很好地识别数据，即不能正确的分类，模型泛化能力太差。
• 欠拟合：模型不能够很好地拟合数据。
• 交叉验证：把数据集分成k个大小相似的互斥子集，每个子集尽可能数据分布一致。然后每次把k-1个子集当成训练集，剩下一个当成测试集，从而可以进行k次训练和测试，最终返回k次结果的均值。

2.线性回归

线性回归使用最佳的拟合直线在因变量和一个或多个自变量之间建立一种关系。


损失函数

代价函数：用于评价线性回归

3.优化方法

梯度下降法

沿着梯度下降的方向来求出损失函数的极小值。梯度下降不一定能够找到全局的最优解，有可能是一个局部最优解。当然，如果损失函数是凸函数，梯度下降法得到的解就一定是全局最优解。

牛顿法

牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f (x)的泰勒级数的前面几项来寻找方程f (x)求导 = 0的根。牛顿法最大的特点就在于它的收敛速度很快。

拟牛顿法

拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。

4.线性回归的评估指标

• 平均绝对误差（MAE）

• 均方误差（MSE）

• 方均根差（RMSE）

• 平均绝对百分比误差（MAPE）
  

• R平方
  

5.sklearn参数详解

• fit_intercept : 布尔型，默认为true
  是否对训练数据进行中心化。如果该变量为false，则表明输入的数据已经进行了中心化，在下面的过程里不进行中心化处理；否则，对输入的训练数据进行中心化处理
• normalize :布尔型，默认为false
  是否对回归量进行归一化。
• copy_X: 布尔型，默认为true
  是否对X复制，如果选择false，则直接对原数据进行覆盖。
• n_jobs : 整型， 默认为1
  线程数。