逻辑回归

一、逻辑斯蒂分布

设X是连续随机变量，X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数

$$\begin{eqnarray} F(x) = P(X \leq x) = \frac{1}{1+ e^{-(x-\mu)/\gamma}} \tag{1} \\ f(x)= F'(x) = \frac{e^{-(x-\mu)/\gamma}}{\gamma (1+e^{-(x-\mu)/\gamma})^2} \tag{2} \end{eqnarray}$$

二、逻辑斯蒂回归模型

二项逻辑斯蒂回归模型是一种分类模型，由条件概率分布p(Y|X)表示，形式为参数化的逻辑斯蒂分布。这里，随机变量X取值为实数，随机变量Y取值为1或0.

概率分布定义如下：

$$\begin{eqnarray} P(Y=1 |x)= \frac{e^{w \cdot x +b}}{1+e^{w \cdot x +b} } \tag{3} \\ P(Y=0 |x)= \frac{1}{1+e^{w \cdot x +b} } \tag{4} \end{eqnarray}$$
对于给定的输入实例x，按照(3),(4)式计算，比较两个条件概率的大小，将实例x分到概率值较大的那一类。

有时为了方便，将权值向量和输入向量加以扩充，$w=(w^{(1)},w^{(2)},\cdots,w^{(n)},b),x=(x^{(1)},x^{(2)},\cdots,x^{(n)},1)$，这时逻辑斯蒂回归模型如下：

$$\begin{eqnarray} P(Y=1 |x)= \frac{e^{w \cdot x }}{1+e^{w \cdot x } } \tag{5} \\ P(Y=0 |x)= \frac{1}{1+e^{w \cdot x } } \tag{6} \end{eqnarray}$$
一个事件发生的几率是指该事件发生的概率与不发生的概率的比值，对于逻辑回归而言，几率的对数为
$$\log \frac{P(Y=1|x)}{1-P(Y=1|x)}=w \cdot x \tag{7}$$
这就是说，在逻辑斯蒂回归模型中，输出Y＝1的对数几率是输入x的线性函数。线性函数的值越接近正无穷，概率值越接近1，线性函数的值越接近负无穷，概率值就越接近0.

三、模型参数估计

可以应用极大似然估计法估计模型的参数，从而得到逻辑斯蒂回归模型

设$P(Y=1|x) = \pi(x), P(Y=0|x)=1- \pi(x)$

似然函数为

$$\prod_{i=1}^N \pi(x)^{y_i} (1-\pi(x))^{(1-y_i)}$$
对数似然函数为
$$\begin{eqnarray} L(w) &&= \log \prod_{i=1}^N \pi(x_i)^{y_i} (1-\pi(x_i))^{(1-y_i)} \\ &&= \sum_{i=0}^N \{y_i \log(\pi(x_i)) + (1-y_i)log(1-\pi(x_i))\} \\ &&=\sum_{i=1}^N \{y_i \log{\frac{\pi(x_i)}{1-\pi(x_i)}} +log(1-\pi(x_i))\} \\ &&=\sum_{i=1}^N\{y_i (w \cdot x_i) -\log(1+e^{w \cdot x}) \} \tag{8} \end{eqnarray}$$
对L(w)求极大值，得到w的估计值。
$$w = arg \min_w \sum_{i=1}^N\{ \log(1+e^{w \cdot x}) -y_i (w \cdot x_i)\}$$
剃度下降法求解w
$$\frac {\partial l}{\partial w} =\sum_{i=1}^{N} (y_i x_i - \pi(x_i)x_i )=\sum_{i=1}^{N} (y_i - \pi(x_i) )x_i$$

$$w:=w + \lambda\sum_{i=1}^{N} (y_i - \pi(x_i) )x_i$$