l逻辑回归

1、问题描述和转化
一个二分类问题给的条件：

分类标签Y {0，1}，特征自变量X{x1，x2，……，xn}

如何根据我们现在手头上有的特征X来判别它应该是属于哪个类别（0还是1）

问题的求解转化为：

我们如何找一个模型，即一个关于X的函数来得出分类结果（0或1）

2、初步思路：找一个线性模型来由X预测Y

但是很明显，这样的函数图像是类似一条斜线，难以达到我们想要的（0或1）的取值

所以我们引入了一个特殊的函数：

3、Sigmoid函数（逻辑函数）

4、刚刚的线性模型与Sigmoid函数合体
🎈第一步：

🎈第二步：

这样我们就把取值控制在了0或1上，初步达成了我们的目标。

5、条件概率
我们令  ，则可得  

若我们将y视为样本x作为正例的概率，那么1-y则为样本x作为反例的概率，二者的比值为，

因此  被称为对数几率。

因此有：

所以推出了：

6、极大似然估计
思想：如果一个事件发生了，那么发生这个事件的概率就是最大的。对于样本i，其类别为。对于样本i，可以把h(Xi)看成是一种概率。yi对应是1时，概率是h(Xi)（即Xi属于1的概率，即上面的p(Y=1|X)）；yi对应是0时，概率是1-h(Xi)（Xi属于0的概率，即上面的