Logistic Regression

Logistic Regression

样本是{x,y}，y是0或1，x是m维的样本特征向量，y=1的概率可以表示为

$$p(y=1|x;\theta)=\sigma(\theta^Tx)=\frac{1}{1+exp(-\theta^Tx)},$$
$\theta$是模型参数， $\sigma$是sigmoid函数，该函数由对数几率（也就是x属于正类的可能性和弗雷的可能性的比值的对数）变换得到
$$\begin{align*} logit(x) &= ln(\frac{P(y=1|x)}{P(y=0|x)})\\ &=ln(\frac{P(y=1|x)}{1-P(y=1)|x})\\ &=\theta_0+\theta_1x_1+\theta_2x_2+...+\theta_mx_m, \end{align*}$$

Logistic Regression最基本的学习算法是极大似然，假设n个独立的训练样本$\{(x_1,y_1),(x_2,y_2),\dots,(x_n,y_n)\},y = \{0,1\}$，那么每一个观察到的样本$(x_i,y_i)$出现的概率为

$$P(y_i,x_i) = P(y_i=1|x_i)^{y_i}(1-P(y_i=1|x_i))^{1-y_i},$$
当 $y=1$时，后面一项没有了，当 $y=0$时，前面一项没有了，所以无论y是0还是1，上面就是(x,y)出现的概率。那么n个独立样本出现的似然函数为：
$$L(\theta) = \prod P(y_i =1|x_i)^{y_i}(1-P(y_i=1|x_i))^{1-y_i},$$
最大似然法就是求模型中使得似然函数最大的系数取值 $\theta^*$，这个最大似然函数就是代价函数(cost function)。
$$\begin{align*} L(\theta)&= log(\prod P(y_i=1|x_i)^{y_i}(1-P(y_i=1|x_i))^{1-y_i})\\ &= \sum\limits_{i=1}^ny_ilog\;p(y_i=1|x_i)+(1-y_i)log(1-p(y_i=1|x_i))\\ &= \sum\limits_{i=1}^ny_ilog\frac{p(y_i=1|x_i)}{1-p(y_i=1|x_i)}+\sum\limits_i^nlog(1-p(y_i=1|x_i))\\ &= \sum\limits_{i=1}^ny_i(\theta_0+\theta_1x_1+\theta_2x_2+,\dots,+\theta_mx_m)+ \sum\limits_i^nlog(1-p(y_i=1|x_i))\\ &= \sum\limits_{i=1}^ny_i(\theta^Tx_i)-\sum_{i=1}^n log(1+e^{\theta^Tx_i}) \end{align*},$$
这时候用 $L(\theta)$对 $\theta$求导，得到
$$\begin{align*} \frac{\partial L(\theta)}{\partial \theta} &=\sum_{i=1}^ny_ix_i- \sum_i^n\frac{e^{\theta^Tx_i}}{1+e^{\theta^Tx_i}}x_i\\ &=\sum_{i=1}^n(y_i-\sigma(\theta^Tx_i))x_i, \end{align*}$$
另其为0，无法求得解析解，用梯度下降法来解决。
$$\theta^{t+1} = \theta^t-\alpha\frac{\partial L(\theta)}{\partial \theta} =\theta^t-\alpha\sum_{i=1}^n(y-\sigma(\theta^Tx_i))x_i,$$
$\alpha$表示学习率。
梯度下降法每次更新回归系数时需要遍历整个数据集，复杂度太高，改进方法是一次用一个样本点（的回归误差）来更新回归系数，即随机梯度下降法。