【李宏毅机器学习笔记6】Logistic Regression 逻辑回归

背景博客参考：https://blog.csdn.net/Allenlzcoder/article/details/78994291

---

上篇博客学习了概率生成式模型，本篇将介绍另一个模型，即判别式模型，也由此，“逻辑回归”，闪亮登场！作为神经网络的基本单元，本篇也十分重要~！

思考：为什么不用square error做线性回归？
因为linear regression在建模后其输出值是任意值（可能大于1），所以在方差处理后也可能是任意值。而logistic regression在建模时用的是σ函数，所以其输出值在0-1之间，如果此时继续用方差处理，会让结果很小，从而不易判别模型优劣，所以采用交叉熵处理来描述预测模型和真实模型之间的接近程度。

再说一下为何不用square error
如果用了逻辑回归+方差的方式，会在第3步中出现微分值为0的情况，导致参数无法迭代更新。看下面两个例子：




注释3：logistic regression的方法为discriminative的方法； 用Gaussian描述机率模型的方法就是generative。
注释4：对于本章来说，左边是直接去寻找W和b，而右边是先假设是高斯分布，再去找的W和b。所以可能是左右两边是不同的W和b。

注释5：一般说来，判别式模型（discriminative）比生成模型的表现要好一些（generative）。（因为生成模型会脑补一些假设，比如说服从何种分布，这样预设条件会使得模型表现降低。）但不绝对，下面就是介绍生成模型的优势。
注释6：生成模型会脑补，所以会弥补一些数据较少带来的不足。

思考下面这种情况

注释1：即（）内的两个元素，分别代表距离（0，0）和（1，1）的距离，按照这个规则重新绘点。



下一篇将开始介绍深度学习咯~

~