线性回归算法梳理

1. 机器学习基本概念

（1）监督学习：根据训练样本（含有标签）进行训练得到一个最优的模型，包括线性回归、逻辑回归、svm、支持向量机等算法
（2）无监督学习：训练样本并没有标签，训练之前也不清楚样本的类别，通过样本之间的特性进行自动分类，比如聚类算法如
kmeans就是典型的无监督学习算法 。
（3）泛化能力：是指训练得到的模型对测试样例的拟合程度。
（4）过拟合：指模型对训练样本有很好的拟合能力，但对测试样本拟合效果很差。
（5）欠拟合：模型对训练样本与测试样本的拟合效果都很差。
（6）交叉验证：是将所有样本分成训练集、验证集、测试集。比例一般为（6：3：1）

2.线性回归

（1）原理：线性回归是回归算法中最简单最通俗易懂的一种，用线性函数去拟合训练样本得到最优回归模型。
（2）损失函数与代价函数：是指经验风险最小化，损失函数与代价函数一样的，线性回归采用的损失函数是真实值与预测值之间的平方差函数。
（3）目标函数：指结构风险最小化，等价于在损失函数的基础上再加上正则化项。

3.优化方法

梯度下降法：是一种用来求解最小值的优化方法，通过迭代法来求解最优值。
包括随机梯度下降法、批量梯度下降法、小批量梯度下降法。
牛顿法：同样是一种求解最小值的优化方法，通过对目标函数的二阶泰勒展开来逼近目标函数，求出目标函数的二阶泰勒展开的零点，不断迭代求解。不同于梯度下降法，牛顿法采用的是二阶迭代，收敛速度快，但每次迭代都要计算海塞矩阵的逆矩阵，当训练样本数较多时，每次迭代计算量太多。
拟牛顿法：针对牛顿法每次迭代都要计算海塞矩阵的逆矩阵这一缺点，提出拟牛顿法。