史上最直白的logistic regression教程 之 三

在线性拟合的基础上，我们实现logistic regression。

如前所述，样本集是

$$\{x_1,y_1\}, \{x_2, y_2\}, ..., \{x_n, y_n\}[1]$$
其中， $x_i=[1, x_{i,1}, x_{i,2},x_{i,3},...,x_{i,k}]^T$，且 $y_i\in (0,1)$。注意，这里对 $y_i$有值上的要求，必须如此，如果值不再这个区间，要以归一化的方式调整到这个区间。对于分类问题，则 $y_i$的取值或者是0，或者是1，也就是 $y_i \in \{0, 1\}$。

当然，从严格的意义上说，logistic regression拟合后，$y_i$的值只能无限地逼近0和1，而不能真正达到0和1，但在处理实际问题上，可以设定成形如 $if y_i > 0.5 \, then\, y_i = 1$和$if y_i <=0.5\, then \, y_i = 0$解决。

Logistic regression的拟合形式如下：

$$y_i = f(z_i)[2]$$ $$z_i = Wx_i[3]$$
其中， $f(z) = \dfrac{1}{1+e^{-z}}[4]$，也就是Logistic函数。

根据公式$[2]$和公式$[3]$，则：

$$y_i=f(Wx_i)[4]$$

那么，如果用公式$[4]$拟合$x_i$和$y_i$的关系，需要求解$W$，使得在公式$[1]$上误差最小。对应的损失函数就是

Loss=12∑i=1n(yi−f(Wxi)