机器学习理论基础学习2——线性回归

1.最小二乘法解的的推导，几何意义解释最小二乘法

 

 

 2.从概率的角度解释最小二乘法

结论：最小二乘法等价于最大似然估计(条件是噪音需要满足高斯分布)

 

3. L2正则化 ---  岭回归

因为最小二乘法任意过拟合，所以引入了正则化。

Ridge：假设先验满足高斯分布，使用L2正则化（权重衰减）

Lasso：假设先验满足laplace分布，使用L1正则化

 

 

 4. 从概率的角度看正则化

结论：正则化之后的最小二乘法等价于最大后验概率估计(条件是噪音和先验分布都满足高斯分布)

 

 

 

 

转载于:https://www.cnblogs.com/nxf-rabbit75/p/10272547.html