【AI知识】逻辑回归介绍+ 做二分类任务的实例（代码&可视化）

1. 分类的基本概念

在机器学习的有监督学习中，分类一种常见任务，它的目标是将输入数据分类到预定的类别中。具体来说：

分类任务的常见应用：

• 垃圾邮件分类：判断一封电子邮件是否是垃圾邮件 。

• 医学诊断：根据病人的症状、检查结果等特征预测病人的疾病类型（如癌症、糖尿病等）。

分类任务的类型：

• 二分类（Binary Classification）： 在二分类问题中，模型需要将输入数据分为两个类别，输入属于两个类别中的一个。如判断一封邮件是垃圾邮件还是非垃圾邮件。

• 多分类（Multiclass Classification）： 在多分类问题中，模型需要将输入数据分为超过两个类别，输入属于多个类别中的一个。如手写数字识别（数字 0 到 9），根据图像内容将其分类为一个数字。

• 多标签分类（Multilabel Classification）： 多标签分类任务是指每个样本可以同时属于多个类别，也就是一个样本可以同时拥有多个标签。如一部电影可以同时属于“动作”和“科幻”两个类别。

分类模型的常用算法： 逻辑回归（Logistic Regression）、支持向量机（SVM, Support Vector Machine）、 K-近邻算法（KNN, K-Nearest Neighbors）、 决策树（Decision Trees）、 随机森林（Random Forest）等。

回归和分类的区别：

• 回归（Regression）： 回归任务的目标是预测一个连续的数值输出，模型输出的是一个实数值。回归常用于预测数量、价格、温度等连续型变量。
• 分类（Classification）： 分类任务的目标是将输入样本分配到有限的类别中，它的输出是离散的标签，通常是类别的编号或名称。分类问题通常用于处理类别标签的任务。

2. 逻辑回归（Logistic Regression）

逻辑回归（Logistic Regression）是一种广泛使用的线性分类模型，尽管它的名字中带有“回归”二字，但它其实是一种用于分类任务的算法，特别适用于二分类问题，也可以通过扩展来处理多分类问题。逻辑回归通过使用Sigmoid函数将线性回归的输出转换为概率值，这个概率值表示一个样本属于某个类别的概率，从而进行分类预测。

Sigmoid函数将线性回归的结果 𝑧 转换为一个介于 0 和 1 之间的概率值 $\hat{y}$ ，通常通过设置一个阈值（比如 0.5）来进行分类判断。如果 $\hat{y}$ >=0.5 ，则预测为类别 1，否则类别为0。

• 逻辑回归的损失函数： 与线性回归的均方误差（MSE）不同，做二分类的逻辑回归使用的是对数损失函数（Log Loss），用于度量模型输出概率