机器学习疑问整理

为什么机器学习的分类器用logistic模型？

回答一：
感觉logistic模型的优点有如下：
1. logistic是线性模型，在相同的条件下线性模型的稳定要优于非线性模型；
2. logistic模型的效果评价除了验证数据集外，还有统计学的验证，感觉更严谨；
3. logistic是基于统计学原理的，更容易让统计和数学背景的人接受；
4. 模型参数的解释更科学，比如某变量的影响直接用发生比就能解释；
5.计算量可以接受，且代码到处都能找到。

---

回答二:
线性回归拟合的是输出，logistic拟合的是概率，线性回归输出可以是负无穷到正无穷，但是概率只能是0~1,所以要加归一化的sigmoid。
把线性模型的负无穷到正无穷输出映射到0-1上。为何要采用logistic sigmoid来映射？
有个简单的解释：定义a为：分类1的likelihood乘先验概率，比上分类2的likelihood乘先验概率，比完之后再求对数。（为啥要求对数？这毕竟是个比值嘛，求对数是很正常的思路）则分类1的后验概率就是sigmoid(a)
如下图（来自PRML）:

---

链接：http://www.zhihu.com/question/24429347/answer/27762600
来源：知乎

---