Coursera Machine Learning Week 3.1: Logistic Regression

这一周讲的是classification中最基本很简单的Logistic Regression

为什么要有Logistic Regression，分类问题其实Linear Regression也可以做，但是做不好。

这张图片中可以发现，linear regression是可以分类的。

但这张图中不难发现，如果在x坐标很大的地方多一个点，这样linear regression做分类就不准确了。

还有一个问题就是，分类问题的输出值应该是0和1两种，但是对于linear regression, h(x)可以>1 或 <0，这样就不对了，所以我们要把输出值控制在0<=h(x)<=1。

这样，h(x)就能控制在0到1内。这个方程叫做logistic Function。h(x)的值代表estimated probability that y=1 on input x
当h(x)大于等于0.5时，y=1, h(x)小于0.5时，y=0。

那么logistic regression的cost function是什么样的：

这是linear的，如果我们按照linear的来写，就会是这样：

这个方程works well for linear regression，但是对logistic regression不行，因为J(西塔)和西塔的函数曲线不是convex的，这样就很难收敛，如果要收敛，必须像右图一样。

所以logistic regression的对于一个点的cost function应该如下：

当y=1时，cost function的函数图是这样的：

这是实际值y=1的情况，从图中我们可以看到，当h(x)等于0的时候，cost是无穷大，这是因为完全错误了，所以penalize最大，当h(x)=1的时候，cost function的值就等于零，因为这和实际值正好吻合，不需要penalize

当y=0时，cost function如下图：

道理是和y=1的时候是一样的。

所以，LR的总的cost function如下：

to minimize J(西塔)，同样可以用梯度下降法，和线性回归中是一样的。