线性回归算法梳理

机器学习的一些概念

有监督学习

监督学习是机器学习的一种方法，可以由训练资料中学到或建立一个模式，并依此模式推测新的实例。训练资料是由输入物件（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

无监督学习

相对于监督学习，无监督学习没有给定事先标记过的训练示例，自动对输入的数据进行分类或分群。

泛化能力

泛化能力通俗来讲就是指学习到的模型对未知数据的预测能力。我们通常通过测试误差来评价学习方法的泛化能力。

过拟合

当学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质性质，这样就会导致泛化性能下降。这种现象在机器学习中称为“过拟合”。过拟合时方差较高。
解决办法：

• 获取更多数据
• • 这是解决过拟合最有效的方法，只要给足够多的数据，让模型「看见」尽可能多的「例外情况」，它就会不断修正自己，从而得到更好的结果。
• 正则化
• • 正则化是指约束模型的学习以减少过拟合的过程。如L1和L2正则化，正则化的一个最强大的特性就是能向损失函数增加“惩罚项”。所谓『惩罚』是指对损失函数中的某些参数做一些限制。最常见的惩罚项是L1和L2：
    L1惩罚项的目的是将权重的绝对值最小化
    L2惩罚项的目的是将权重的平方值最小化

• 欠拟合
  指的是对训练样本的一般性质尚未学好。欠拟合时偏差较高。
  解决办法：

• .添加其他特征项，有时候我们模型出现欠拟合的时候是因为特征项不够导致的，可以添加其他特征项来很好地解决。例如，“组合”、“泛化”、“相关性”三类特征是特征添加的重要手段，无论在什么场景，都可以照葫芦画瓢，总会得到意想不到的效果。除上面的特征之外，“上下文特征”、“平台特征”等等，都可以作为特征添加的首选项。
• .添加多项式特征，这个在机器学习算法里面用的很普遍，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强。例如上面的图片的例子。
• 减少正则化参数，正则化的目的是用来防止过拟合的，但是现在模型出现了欠拟合，则需要减少正则化参数。

交叉验证

线性回归的原理

线性回归是一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，使得预测值与真实值之间的误差最小化。模型通式为：

以下分别是一元和二元变量的线性回归实例图：

作者：Mr.Hou猴
来源：CSDN
原文：https://blog.csdn.net/hsk6543210/article/details/88049160
版权声明：本文为博主原创文章，转载请附上博文链接！

线性回归损失函数、代价函数、目标函数

损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。
代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。
目标函数（Object Function）定义为：最终需要优化的函数。等于经验风险+结构风险（也就是Cost Function + 正则化项）。

优化方法(梯度下降法、牛顿法、拟牛顿法等)

梯度下降法

牛顿法

牛顿法和拟牛顿法也是求解无约束最优化问题的常用方法，有收敛速度快的优点．牛顿法是迭代算法，每一步需要求解目标函数的海赛矩阵的逆矩阵，计算比较复杂。

拟牛顿法

拟牛顿法通过正定矩阵近似海赛矩阵的逆矩阵或海赛矩阵，简化了牛顿法复杂的计算过程。

线性回归的评估指标

sklearn参数详解

参考：https://blog.csdn.net/MRxjh/article/details/78499801

参考
https://blog.csdn.net/pandawang830/article/details/88861323
https://blog.csdn.net/hsk6543210/article/details/88049160