罗杰斯特回归

1. 罗杰斯特回归(Logistic)函数

$$h_\theta=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}$$

2. 罗杰斯特回归最基本的学习算法是最大似然法

设共有$n$个独立的训练样本，其中$n_1$个属于$w_1$类，$n_2$个属于$w_2$类，将两类的输出分别编码为$y=1$和$y=0$。

每一个观察到的样本$(x_i,y_i)$出现的概率是：

$$P(x_i,y_i)=P(y_i|x_i)^{y_i}(1-P(y_i|x_i))^{1-y_i}P(x_i) \overset {\text{def}}{=}\zeta(x_i,y_i)$$
$n$个独立样本出现的似然函数为：
$$l = \prod\limits_{i=1}^N\zeta(x_i,y_i)$$
$$L'(\beta) = ln(l) = \sum\limits_{i=1}^n{\{y_iln(P(y_i|x_i))} + (1-y_i)ln(1-P(y_i|x_i))\}$$

最大似然估计量就是微分方程 $dL'(\beta)/d\beta = 0$

将式进行推导，得到下列方程组

$$\sum\limits_{i=1}^n(y_i-P(y_i|x_i))=0 \\ \sum\limits_{i=1}^nx_i(y_i-P(y_i|x_i))=0$$