机器学习：如何理解机器学习中的逻辑回归

逻辑回归也可以说是一个分类器。在二分类器中，输出要么是0，要么是1。所以对于一组输入来说，我们要做的就是通过这个输入的数据，经过假设函数的处理之后，输出结果是1的概率。也就是说，输出是一个概率值。所以现在要转成逻辑函数：

$$h_{\theta}(x) = \frac{1}{1+e^{-\theta^{T}x}}$$
如何理解这个逻辑函数呢？
这个函数就是为了评估输入为x时，输出的结果刚好是y=1的概率。所以如果我们有一组数据 $(x^{(i)},y^{(i)}=1)$那么
$$h_{\theta}(x^{(i)}) = \frac{1}{1+e^{-\theta^{T}x^{(i)}}}$$ 的结果应该尽可能使得 $h_{\theta}(x^{(i)})$的结果接近于1（通过调整 $\theta$）。

那么，当我们有m组数据时，哪一组$\theta$是拟合得最好（效果最好）的呢？拟合得最好的那组$\theta$就是我们想要的。所以我们可以定义代价函数为：

$$Cost(h_{\theta}(x),y) = \left\{\begin{matrix} -log(h_{\theta}(x))\quad if\ \ y=1\\ -log(1-h_{\theta}(x))\quad if \ \ y=0 \end{matrix}\right.$$
为什么这么定义呢？
我们可以画出 $-log(h_{\theta}(x))$的图形：

从图中我们可以看到，当$h_{\theta}(x)$趋向于1的时候，说明有更高的概率y=1，而这个函数也是当y=1的时候的函数形式。y=1时，$h_{\theta}(x)$趋向于1，$-log(h_{\theta}(x))$的值越小，也就是代价越小。同理，当y=0时，$-log(1-h_{\theta}(x))$也是这种趋势。

因为y要么是1，要么是0，所以代价函数可以写为：

$$Cost(h_{\theta}(x),y) =-y\ log(h_{\theta}(x))-(1-y)log(1-h_{\theta}(x))$$
所以： $$J(\theta)=\frac{1}{m}\sum_{i=1}^{m}Cost(h_{\theta}(x^{(i)}),y^{(i)})\\ =-\frac{1}{m}[\sum_{i=1}^{m}y^{(i)}log(h_{\theta}(x))+(1-y^{(i)})log(1-h_{\theta}(x^{(i)}))]$$
我们的目标就是获得 $J(\theta)$最小值时的那组 $\theta$值。

事实上，我们也可以使用平方差来作为代价函数：

$$Cost(h_{\theta}(x),y) = (h_{\theta}(x^{(i)})-y^{(i)})^{2}$$
虽然它们在形式上不一样，但是它们的意义是一样。都是刻画了每一组输入x与对应的y之间的差距。我们的目标都是为了找到一组 $\theta$来最小化这个差距。写成这种形式之后，又可以使用梯度下降算法来拟合参数了。关于梯度下降算法可以参考我的 上一篇博文。