Logistic回归和梯度上升算法

一. Logistic回归原理

Logistic回归是一种广义线性回归，常用的分类器函数是Sigmoid函数，其公式如下：

$$\sigma(z)=\frac{1}{1+e^{-z}}$$
其中， $z$可由下面公式得出：
$$z=w_0x_0+w_1x_1+w_2x_2+\cdot\cdot\cdot+w_nx_n$$
如果采用向量的写法，上面的公式可以写成：
$$z=w^Tx$$
我们的主要任务是找到最佳参数 $w$使得分类器尽可能准确。

二. 梯度上升算法

1. 梯度

函数$f(x,y)$的梯度的公式如下：

$$\nabla f(x,y)=\begin{bmatrix}\frac{\partial f(x,y)}{\partial x} \\ \frac{\partial f(x,y)}{\partial y} \end{bmatrix}$$

2. 梯度上升算法的原理

梯度上升算法的迭代公式如下：

$$w=w+\alpha \nabla_wf(w)$$
上面的公式一直被迭代执行，直到符合某个条件为止。

三. 关键点

1. 目标函数是啥？

我们考虑二分类问题，其中的包含的类别为类别1和类别0。
可以得到预测函数，其公式如下：

$$h_w(x)=\sigma(w^Tx)=\frac{1}{1+e^{-w^Tx}}$$