初级算法梳理1

线性回归算法梳理

机器学习的一些概念

监督学习：给数据给标签，学习出一个模型进行预测与分析。
无监督学习：只给数据不给标签，学习出一个模型进行预测与分析。
半监督学习：给的部分数据带有标签而部分数据没带有标签，学习出一个模型进行预测和分析。
强化学习：学习一个从状态空间S到动作空间A的映射，最大化累积收益。
泛化能力：学习到的模型对未知数据的预测能力。
过拟合：训练集效果非常好，测试集非常糟糕。
欠拟合：训练集和测试集效果都非常糟糕。
方差（variance）：所有采样得到大小为m的训练数据集训练出所有的模型的方差。
偏差（bias）：所有采样得到的大小m的训练数据集出的所有模型输出的平均值与真实模型输出之间的偏差。
解决方差和偏差的方法：可以通过Boosting的方法解决偏差，可以通过Bagging的方法解决偏差。
交叉验证：最大限度去利用数据。分为简单交叉验证，S折交叉验证，留一交叉验证。

线性回归原理

原理：利用线性回归方程与真实值相差的最小平方函数对一个或多个自变量和因变量之间进行建模的一种回归分析。
损失函数，代价函数和目标函数不严格意义上是没有区别的。

常见的优化的方法

梯度下降法：通过搜索方向以及步长来对参数进行更新，搜索方向目标函数在当前位置的负梯度方向。因为这个方向是最快的下降方向。步长确定了沿着这个搜索方向下降的大小。
牛顿法：在最优化问题中，线性最优化至少可以使用单纯行法解决。对于非线性求解方法，牛顿提供了一种求解的办法。
关于牛顿法和梯度下降法的效率对比：
从本质上去看，牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。（牛顿法目光更加长远，所以少走弯路；相对而言，梯度下降法只考虑了局部的最优，没有全局思想。）
优点：二阶收敛，收敛速度快；
缺点：牛顿法是一种迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。
拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。

线性回归评价指标

RMSE：

MSE：
MAE:
R-squared

sklearn参数详解

sklearn.linear_model.LinearRegression(fit_intercept=True, normalize=False,copy_X=True, n_jobs=1)
参数说明
fit_intercept: 布尔型，默认为True，若参数值为True时，代表训练模型需要加一个截距项；若参数为False时，代表模型无需加截距项(即直线过原点)。
normalize：布尔型，默认为False，若fit_intercept参数设置False时，normalize参数无需设置；若normalize设置为True时，则输入的样本数据将标准化。
copy_X：布尔型，默认为true，即是否对X复制，如果选择false，则直接对原数据进行覆盖。（即经过中心化，标准化后，是否把新数据覆盖到原数据上）
n_jobs ：整型， 默认为1，计算时设置的任务个数(number of jobs)。如果选择-1则代表使用所有的CPU。这一参数的对于目标个数>1（n_targets>1）且足够大规模的问题有加速作用。