逻辑回归-假设函数

线性回归的假设函数

对于 线性回归 我们的假设函数为：

但这个假设函数的输出是个没有范围的连续值，并不适合分类问题。

我们来证实一下，现在我们通过将线性回归的输出映射到0～1，设定阈值来实现分类任务。以乳腺癌分类问题为例：

我们使用线性回归模型来表示假设函数，横轴为肿瘤的尺寸，纵轴上两个点0和1为是否为恶性肿瘤。
从图中洋红色的线可以看出，当阈值为0.5时，该点的左侧预测为良性，即y=0，该点的右侧被预测为恶性，即y=1。
看起来线性回归似乎适合分类问题。

假使我们又观测到一个非常大尺寸的恶性肿瘤，将其作为实例加入到我们的训练集中来，这将使得我们获得一条新的直线，蓝色的线，这时再使用0.5作为阀值来预测肿瘤是良性还是恶性便不合适了。

而且线性回归模型的假设函数hθ(x)的输出值可能大于1也可能小于0。

所以线性回归并不适合解决此类分类问题。我们引入一个新的模型，逻辑回归，该模型的输出变量范围始终在0和1之间。

逻辑回归的假设函数

首先我们要先介绍一下Sigmoid函数，也就是经常说的logistic函数，它的几何形状也就是一条sigmoid曲线（S型曲线）

该函数具有如下的特性：

• 当x趋近于负无穷时，y趋近于0；
• 当x趋近于正无穷时，y趋近于1；
• 当x= 0时，y=0.5。

在线性回归问题中，假设函数具有如下形式：

在逻辑回归问题中，将该函数的形式转换为如下形式：

其中，函数g称为S型函数，它具有如下形式：

那么，逻辑回归的假设函数的形式即为：

如下图所示

假设函数的输出的意义

对于某个样本x，它对应的假设函数的输出值为hθ(x)，该值表示样本x被判别为类为1的概率。

举一个具体的例子（肿瘤良性恶性的分类问题）：对于某个待测试样本x，它的假设函数的输出值hθ(x)=0.7，该值表示：该样本为恶性肿瘤的可能性为70%。

接下来，再从条件概率的角度理解逻辑回归假设函数{hθ(x)=P(y=1|x;θ)}的意义：
在给定的样本x和参数向量θ的情况下，样本x被判断为类1的概率；那么，在给定的样本x和参数向量θ的情况下，输入样本x被判断为类0的概率为hθ(x)=P(y=0|x;θ)：