逻辑回归解决分类问题

一、分类问题

我们已经知道线性回归可以解决拟合的问题，那么对于分类问题，我们该如何解决呢？
基于线性回归的思考，我们能否训练一个线性回归模型，通过判断输出值的大小来确定其属于哪个类别？
考虑二分类问题，假设我们认为线性回归模型输出值大于0.5时为1，小于0.5时为0，因此我们希望存在一个函数$h_{\theta }(x)$ ，使得对于线性回归模型的值能够映射在0-1范围内，表示如下：

所以选择一个满足值域为0-1特性的函数作为映射函数，就能通过线性回归解决分类问题。

二、sigmoid函数

选择sigmoid函数作为映射函数，其表达式如下：

函数图像如下：

假设我们依旧按照线性回归的方式，损失函数如下：


这样的话$L(\theta )$属于非凸函数，存在许多局部极小值，并不利于求解全局最优解，因此直接采用线性回归方法，可能在某些时候具备效果，所以理论上并不适合，因此引入逻辑回归。

三、逻辑回归

由$h_{\theta }(x)$可得：

如果我们把$h_{\theta }(x)$视为样本x为正例的可能性，那么 1 −