[Python嗯~机器学习]---逻辑回归和代价函数的简述

逻辑回归和代价函数

前面的博客中，我们提到决策边界的时候是假设我们有了合适的 θ，现在我们就讨论一下如何来获得合适的 θ。

这时候我们想到的就是用一个代价函数来描述真实值和预测值之间的差异。但是跟线性回归不同的是，在逻辑
回归中，输出值 y 只有两个值，0/1 。所以，代价函数跟线性回归应该也不相同。

线性回归中，我们的代价函数的思想是均方误差~~~，在逻辑回归中，如果我们把假设函数的sigmoid函数带入线
性回归的代价函数中就不会是一个凸函数，如上图左侧，有很多个局部最小值。线性回归中，代价函数是一个凸函
数，而我们想要的是像右侧图一样可以收敛到一个合适的值，那么这个时候我们应该怎么办呢？

逻辑回归的代价函数

我们用上图中的    来表示逻辑回归的代价函数，在逻辑回归中，假设函数输
出的是h(θ) = P(y=1)，是一个概率，我们用这个代价函数来惩罚这个概率值。直观是理解就是预测越准确，就是h(θ) = P(y=1)
中目标是 0 或者 1，现在h(θ) 输出的就是我们要的 1 事件的概率，概率越大就说明越接近 1，如0.9999 。这时候我们给它
一个比较小的惩罚值，如上图左侧；反之，如果我们目标是 y=0 这个事件的概率，那么代价函数就像上图右侧曲线。 

这时候我们就可以把逻辑回归的代价函数表示成一个分段的函数，0 和 1 对应不同的曲线。

因为 y 只有两个值，0 和 1，所以我们就可以把分段函数写成一个函数

这时候我们找到了合适的代价函数，那么目标也是如何取得代价函数的最小值，使得对总体样本概率的惩罚
最小。

梯度下降：

用链式法则求导得到上图红色式子。找到一个合适的 θ 。

梯度下降的过程和线性回归是相同的。

在求解最合适 θ 的过程中，我们也可以使用不同的算法，不只是有梯度下降算法。