Andrew机器学习课程 章节5——Logistic回归

线性回归用于分类问题通常不是什么好的主意

Logistc 回归实际上是一种分类算法用在离散值为0 or 1的情况下。即：预测的变量y是一个离散值，情况下的分类问题。

在此，为了将值限定在[0,1]中，我们引入一个新的函数sigmod函数：

其意义是，对于给定的输入变量x，根据选择的参数θ计算输出变量=1 的可能性,for example:

hθ(x)=0.7，则表示有 70%的几 率 y 为正向类，相应地 y 为负向类的几率为 1-0.7=0.3。

现在讲下决策边界(decision boundary)的概念。这个概念能更好地帮助我们理解逻辑回归的假设函数在计算什么。

即，分类边界为θTX=0。

如何去优化他呢。我们知道在liner Regression中。

我们使用gradient descent的方法。

然而，将hθ直接带入liner Regression那样的代价函数，我们会得到一个non-convex function。

因此我们需要重新考虑一个cost function使可以构成一个convecx function

其中，具体表示如下所示：

图像为

他表示的是，当y为1时，输出值距离1越远时，代价就越大。

求导后得到。