从概率的角度看logistic regression

logistic regression假设样本$x$为正的概率是：$$P(Y=1|x)=\frac{1}{1+e^{-(w\cdot x+b)}}$$
我们在看这个公式的时候，可以理解成

• $x$是一个事件，一共有1,2,…,N个事件
• $Y$是类别，有0和1，这两种类别

那么$P(Y=1|x)$我理解就是一个后验概率，后验概率的意思是

后验概率：事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小

所以$P(Y=1|x)$就是事件$x$已经发生了，$x$属于这个$Y=1$这个类别的概率是多少。

现在就假设$P(Y=1|x)=\frac{1}{1+e^{-(w\cdot x+b)}}$，同理$P(Y=0|x)=1-\frac{1}{1+e^{-(w\cdot x+b)}}$也可以是这么理解。

OK，我们假设是这个概率，那么假设中的参数$w，b$怎么求呢？答案是：

极大似然函数估计法

为什么用这个方法求$w，b$？因为

极大似然函数估计法就是用来求模型已知，参数未知的情况下，通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大。

在logistic regression里，模型已知了啊，是$P(Y=1|x)=\frac{1}{1+e^{-(w\cdot x+b)}}$，和$P(Y=0|x)=1-\frac{1}{1+e^{-(w\cdot x+b)}}$，参数$w，b$未知，用试验结果，就是训练数据$x_i,y_i$，$i=1,2,...,N$去估计参数啊。

所以用极大化似然函数的方法，可以列出似然函数$$L(w|x)=P(x|w)=\prod _{i=1}^{N}p(x_i|w)=\prod _{i=1}^{N}P(Y=1|x{)}^{y_i}P(Y=0|x{)}^{1-y_i}$$

这里解释一下这个似然函数$L(w|x)$，意思是事件$x$已经发生了，$w$的值等于某个值时使得事件$x$发生的可能性等于多少。那么$p(x|w)$的意思是，在给定w的值等于多少，事件$x$发生的概率是想到的。所以就可以列出上面的似然函数。

我们要求$x$发生的可能性最大啊，那么就是极大化似然函数，求出来的$w$就是我们想要的参数了。由于该极大似然函数无法直接求解，我们一般通过对该函数进行梯度下降来不断逼急最优解。