机器学习笔记之分类算法（一）逻辑回归

1. 线性回归和逻辑回归（LR）

线性回归可以很好的解决回归问题，但是针对分类问题效果不佳。因为线性回归的输出值是不确定范围的，无法很好的一一对应到若干分类中。

为了解决上述问题，逻辑回归诞生了。通过在线性回归模型中引入Sigmoid函数，将线性回归的不确定范围的连续输出值映射到（0，1）范围内，成为一个概率预测问题。

线性回归
逻辑回归

sigmoid函数：

为什么采用sigmoid函数：
1）可以将结果映射到（0，1）之间，转化为概率问题；
2）方便进行决策，当x=0时，sigmoid函数值为1/2；
3）求导容易。

2. 最大似然估计

最大似然估计是指整体概率分布已知，利用已知的样本结果信息