线性回归和逻辑回归的区别_【基础】线性回归和逻辑回归

回归和分类

回归和分类是机器学习可以解决两大主要问题，从预测值的类型上来区分，连续变量的预测称为回归，离散变量的预测称为分类。例如：预测房价的价格是一个回归任务；预测一张图片是猫还是狗的图片是分类任务。

线性回归

在一维特征空间，线性回归是通过学习一条直线

，使得这条之间尽可能的拟合所有已有的看到的点的

值，并希望测试数据尽可能的落到这条线上，有很好的繁华性能。其中

是预测值，

是实际值。在多维空间，线性回归表示为：

• 解决回归问题
• 连续的变量
• 符合信息关系
• 直观表达变量关系

逻辑回归

逻辑回归（Logistic Regression）主要解决二分类问题，用来表示某件事发生的可能性。

• 这张图片是不是狗（是、不是）
• 这封邮件是不是垃圾邮件（是、不是）
• 当前脑CT是不是包含并病灶（是、不是）

如何基于回归进行二分类？在多维空间表示上，线性回归表示为：

，逻辑回归表示为：

, sigmoid 函数可以将

输出的值映射到 0，1 之间，如果 >= 0.5 ，则属于正，如果 < 0.5 则属于负。sigmoid 函数表达式如下：

• 解决分类问题
• 离散的变量
• 可以不符合线性关系
• 无法直观表达变量关系

现在有

个样本，如何求解参数值？罗辑回归的目标函数是什么？极大似然估计，即利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值。

极大似然估计

表示分类标签，

表示输入，

表示参数。

上面两个式子用下面的式子表示：

这个式子可以理解为，我们将数据

输入到参数为

的模型中，我们期望模型的输出是

的概