【机器学习入门】logistic回归

logistic回归名为“回归”，实质上却是一个分类模型。

它的思路是用一个S型函数进行回归模型拟合，预测值大于0.5时认为是正类，小于0.5时认为是负类。
用logistic回归用于分类而不采取线性回归的原因在于，当两个类的样本较多分布不同的时候，线性回归会倾向于偏向样本较多的那个类，并尝试拟合“较远”的样本。

logistic回归选择将线性回归函数转化到一个S型函数上。

$$h_{\theta}(x) = g(\theta^T x) = \frac{1}{1+e^{-\theta^T x}}$$
其中 $g(z) = \frac{1}{1+e^{-z}}$.

logistic回归如下：
设样本类别分布为

$$P(y|x;\theta) = h_{\theta}(x)^y (1-h_{\theta}(x))^{1-y}$$
则似然函数
$$L(\theta) = \prod_i P(y^{(i)} | x^{(i)}; \theta) = \prod_i h_{\theta}(x^{(i)})^{y^{(i)}} (1-h_{\theta}(x^{(i)}))^{1-y^{(i)}}$$

对数似然函数

$$\log L(\theta) = \sum\limits_i^m y^{(i)}\log h_{\theta}(x^{(i)}) + (1-y^{(i)})\log (1-h_{\theta}(x^{(i)}))$$
为寻找 $\theta$使似然函数最大，使用梯度下降法，
$$\theta := \theta + \alpha \nabla_{\theta} \log L(\theta)$$

由于

$$h_{\theta}(x) = g(\theta^T x) = \frac{1}{1+e^{-\theta^T x}}$$
可得
$$\frac{\partial}{\partial \theta_j} \log L(\theta) = \sum\limits_i^m(y^{(i)} - h_{\theta}(x^{(i)}))x_j^{(i)}$$

因此求解logistic回归的参数迭代式为：

$$\theta_j := \theta_j + \alpha \sum_i^m (y^{(i)} - h_{\theta}(x^{(i)}))x_j^{(i)}$$
当然也可以采取循环的形式，即对所有 $i$采取：
$$\theta_j := \theta_j + \alpha (y^{(i)} - h_{\theta}(x^{(i)}))x_j^{(i)}$$
其中 $$h_{\theta}(x) = g(\theta^T x) = \frac{1}{1+e^{-\theta^T x}}$$