数理统计——逻辑回归与python实现鸢尾花二分类

前言

本篇主要学习逻辑回归模型，使用逻辑回归实现分类任务 。
目标：
能够清晰理解逻辑回归模型的原理。
能够掌握sigmoid函数的作用。
能够使用逻辑回归模型实现二分类以及多分类任务。

一、逻辑回归模型

1.1模型简介

逻辑回归实际上是一个分类算法，其应用于对一个样本数据进行分类的场景中。通过给定的数据集进行建模，从而可以对未知的数据样本进行分类预测。

1.2 算法的分类思想

逻辑回归实现分类的思想为：将每条样本进行打分，然后设置一个阈值，达到这个阈值的，分为一个类别，而没有达到这个类别的，分为另外一个类别。对于阈值，比较随意，划分为哪个类别都可以，但是需要保证阈值划分的一致性。

对于逻辑回归，模型的前面与线性回归类似：

不过z值是一个连续的值，取值范围是（-∞，+∞），我们可以将阈值设置为中间的位置，也就是0，当z>0，模型将样本判定为一个类别，反之，这样就实现了一个二分类的任务。
在scikit-learn中，如果z值为0，则判定为负例。

1.3sigmoid函数

对于分类的任务，如果仅仅给出分类的结果，在某些场景下，提供的信息可能并不充足，这会带来一定的局限，因此我们建立分类模型，不仅可以分类，还能提供该样本属于该类的一个概率值，这很有用。

代码实现一下sigmoid函数在【-10,10】区间的图像。

#导入相关库
import numpy as np 
import matplotlib.pyplot as plt 

#初始化设置
plt.rcParams["font.family"]="SimHei"
plt.rcParams["axes.unicode_minus"]=False
plt.rcParams["font.size"]=12 

#定义sigmoid函数：
def sigmoid(z):
    return 1/(1+np.exp(-z))

#绘图
z=np.linspace(-10,10,200)
plt.plot(z,sigmoid(z))
#绘制水平线与垂直线：
plt.axvline(x=0,ls="--",c="k")
plt.axhline(ls=":",c="k")
plt.axhline(y=0.5,ls=":",c="k")
plt.axhline(y=1,ls=":",c="k")
plt.xlabel("z值")
plt.ylabel("sigmoid(z)值")

Text(0,0.5,"sigmoid(z)值")

可视化图形：

1.4逻辑回归损失函数

线性回归的损失函数是采用最小二乘法。
损失函数：对数损失函数
思路：求解参数W，以w为自变量建立函数，取对数不影响极值点

可视化实现一下：

s=np.linspace(0.01,0.99,200)
for y in [0,1]:
    loss=-y*np.log(s)-(1-y)*np.log(1-s)
    plt.plot(s,loss,label=f"y={y}")
plt.legend()