逻辑回归-代价函数

凸函数和非凸函数

对于线性回归问题，使用线性回归模型，我们定义的代价函数是误差的平方和。

同样的，理论上说，我们对分类问题，使用逻辑回归模型的也定义代价函数的误差的平方和，但是这里有个问题出现了。

我们将假设(Hypothesis) ：

代入到代价函数中，我们得到的代价函数是一个非凸函数(non-convex function)，其曲线图下图所示，这意味着我们的代价函数有许多局部最小值，这将对在使用梯度下降法求全局最小值影响很大。

凸函数(convex function)，只有一个最小值，也是我们最想要得到的，在梯度下降法中，将很快的寻找到全局最小值，凸函数曲线如下图所示：

因此，要是能使代价函数转化为凸函数，问题就迎刃而解了。

那么问题来了，用什么方法将非凸函数转化为凸函数呢？

代价函数

线性回归的代价函数为：

我们重新定义逻辑回归的代价函数为：

其中