机器学习算法——demo

为脑残的面试问题而生，哈哈~

（1）LR为什么不可以用MSE作为损失函数？

MSE 会有梯度消失现象
MSE 的导数非凸 求最优解困难

（2）L1 相比于 L2 为什么容易获得稀疏解？

（3）L1正则化项如何求导？

对于目标函数不是处处连续可微的情况，通常是使用次梯度（subgradient）来进行优化，由于次梯度自身的原因会导致两方面问题：求解慢、通常不会产生稀疏解。
Proximal Algorithm 自然肩负了要解决这两个问题的使命。（近似算法——信赖域思想）

（4）为什么L1正则先验分布是拉普拉斯，L2正则先验分布是高斯？

从贝叶斯的角度来看，正则化等价于对模型参数引入 先验分布 。