机器学习加强之回归

一、回归，分类

回归：该词来源于高尔顿，目前值y是连续的，表示回归，离散的则称为分类；
线性回归：
1.高斯分布；
2.最大似然估计MLE；
3.最小二乘法的本质；
Logistic回归：处理分类问题，经典处理二分类回归，多分类：SoftMax回归；

极大似然然估计解释最小二乘：
误差值：误差值（1<=i<=m）是独立同分布的，服从均值为0，方差为某定值得高斯分布
中心极限定理：实际问题中，很多随机现象可以看做众多因素的独立影响的综合反应，往往服从近似正态分布；
最小二乘估计原理：

假设具有：内涵性、简化性和发散性

线性回归：

正则项：L1正则化，L2正则化，参数项平方和
正则项与防止过拟合：
L1正则有特征选择性，而L2正则化没有；

正则化与稀疏：
L1正则和L2正则：
L1正则：参数选择会稀疏化

L1-norm如何处理梯度：

梯度下降算法：

绕过SVD方法求解，使用梯度下降

          批量梯度下降算法：局部最优，找到堪用的模型即可；
          SGD，BCD分别为随机梯度下降，批量随机梯度下降，优先选择SGD，速度快，折中：mini-batch  
          随机梯度下降：整体趋势梯度是下降的；