【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——逻辑回归(Logistic Regression)

2.2 逻辑回归(Logistic Regression)

在这个视频中，我们会重温逻辑回归学习算法，该算法适用于二分类问题，本节将主要介绍逻辑回归的Hypothesis Function（假设函数）。

这时候我们得到的是一个关于输入x的线性函数，实际上这是你在做线性回归时所用到的，但是这对于二元分类问题来讲不是一个非常好的算法，因为你想让^{y表示实际值y等于1的机率的话，}y 应该在0到1之间。这是一个需要解决的问题，因为w^T x+b可能比1要大得多，或者甚至为一个负值。对于你想要的在0和1之间的概率来说它是没有意义的，因此在逻辑回归中，我们的输出应该是^y等于由上面得到的线性函数式子作为自变量的sigmoid函数中，公式如上图最下面所示，将线性函数转换为非线性函数。
下图是sigmoid函数的图像，如果我把水平轴作为z轴，那么关于z的sigmoid函数是这样的，它是平滑地从0走向1，让我在这里标记纵轴，这是0，曲线与纵轴相交的截距是0.5，这就是关于z的sigmoid函数的图像。我们通常都使用z来表示w^T x+b的值。

要注意的事情，如果z非常大那么e^(-z)将会接近于0，关于z的sigmoid函数将会近似等于1除以1加上某个非常接近于0的项，因为e 的指数如果是个绝对值很大的负数的话，这项将会接近于0，所以如果z很大的话那么关于z的sigmoid函数会非常接近1。相反地，如果z非常小或者说是一个绝对值很大的负数，那么关于e^{(-z)这项会变成一个很大的数，你可以认为这是1除以1加上一个非常非常大的数，所以这个就接近于0。实际上你看到当z变成一个绝对值很大的负数，关于z的sigmoid函数就会非常接近于0，因此当你实现逻辑回归时，你的工作就是去让机器学习参数w以及b这样才使得}y成为对y=1这一情况的概率的一个很好的估计。