应用逻辑回归方法对鸢尾花进行分类

应用逻辑回归方法对鸢尾花进行分类

1. 实验目标

• 逻辑回归
• 了解Iris数据集

2. 本次实验主要使用的 𝑃𝑦𝑡ℎ𝑜𝑛Python 库

名称	版本	简介
𝑛𝑢𝑚𝑝𝑦numpy	1.16.21.16.2	线性代数
𝑜𝑝𝑒𝑛𝑐𝑣−𝑝𝑦𝑡ℎ𝑜𝑛opencv−python	4.1.1.264.1.1.26	计算机视觉
𝑠𝑐𝑖𝑘𝑖𝑡−𝑙𝑒𝑎𝑟𝑛scikit−learn	0.20.30.20.3	机器学习
𝑀𝑎𝑡𝑝𝑙𝑜𝑡𝑙𝑖𝑏Matplotlib	3.0.33.0.3	数据可视化

3. 适用的对象

• 具备Python基础
• Numpy基础
• matplotlib基础
• OpenCV基础
• 学习对象：机器学习图像处理方向的本科学生、研究生、人工智能、算法相关研究者、开发者

Iris数据集

Iris数据集是常用的分类实验数据集，由Fisher, 1936收集整理

Iris也称鸢尾花卉数据集，是一类多重变量分析的数据集

数据集包含150个数据样本，分为3类，每类50个数据，每个数据包含4个属性

可通过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉属于（Setosa，Versicolour，Virginica）三个种类中的哪一类

逻辑回归（logistic regression）

机器学习解决的问题，大体上就是两种：数值预测和分类

前者一般采用的是回归模型，比如最常用的线性回归

后者的方法则五花八门，决策树，kNN，支持向量机，朴素贝叶斯等等模型都是用来解决分类问题的

其实，两种问题从本质上讲是一样的：都是通过对已有数据的学习，构建模型，然后对未知的数据进行预测，若是连续的数值预测就是回归问题，若是离散的类标号预测，就是分类问题

这里面有一类比较特殊的算法，就是逻辑回归（logistic regression）

它叫“回归”，可见基本思路还是回归的那一套，同时，逻辑回归又是标准的解决分类问题的模型

换句话说，逻辑回归是用与回归类似的思路解决了分类问题

OpenCV中的逻辑回归

下载数据集

首先导入库

代码示例：

pip install numpy
pip install opencv-python==4.1.1.26
pip install scikit-learn
pip install matplotlib

import numpy as np
import cv2

from sklearn import datasets
from sklearn import model_selection
from sklearn import metrics

import matplotlib.pyplot as plt
%matplotlib inline

代码示例：

plt.style.use('ggplot')

加载数据集

代码示例：

iris = datasets.load_iris()

代码示例：

dir(iris)

我们有150个数据，每个数据四个特征

代码示例：

iris.data.shape

这四个特征对应于之前提到的萼片和花瓣的尺寸:

代码示例：

iris.feature_names

每个数据对应一个标签

代码示例：

iris.target.shape

我们可以查看分类标签，一共有三个

代码示例：

np.unique(iris.target)

将问题变为二分类问题

我们先区分，是否是2类的花

代码示例：

idx = iris.target != 2
data = iris.data[idx].astype(np.float32)
target = iris.target[idx].astype(np.float32)

查看数据

在开始建立模型之前，最好先查看一下数据

代码示例：

plt.figure(figsize=(10, 6))
plt.scatter(data[:, 0], data[:, 1], c=target, cmap=plt.cm.Paired, s=100)
plt.xlabel(iris.feature_names[0])
plt.ylabel(iris.feature_names[1]);

分离训练集与测试集

代码示例：

X_train, X_test, y_train, y_test = model_selection.train_test_split(
    data, target, test_size=0.1, random_state=42
)

代码示例：

X_train.shape, y_train.shape

代码示例：

X_test.shape, y_test.shape

训练分类器

创建一个逻辑回归分类器的步骤和设置𝑘k-NN差不多:

代码示例：

lr = cv2.ml.LogisticRegression_create()

我们可以选择

cv2.ml.LogisticRegression_BATCH
cv2.ml.LogisticRegression_MINI_BATCH

这个我们以后再解释

现在我们只需要知道，我们想在每个数据点计算后都更新一次

代码示例：

lr.setTrainMethod(cv2.ml.LogisticRegression_MINI_BATCH)
lr.setMiniBatchSize(1)

我们还希望指定迭代次数

代码示例：

lr.setIterations(100)

然后我们可以调用对象的’ train '方法(与前面的方法完全相同)

成功后会返回“True”

代码示例：

lr.train(X_train, cv2.ml.ROW_SAMPLE, y_train);

查看学习后的权重

代码示例：

lr.get_learnt_thetas()

测试分类器

训练集上的预测

代码示例：

ret, y_pred = lr.predict(X_train)

计算训练集上的精度

代码示例：

metrics.accuracy_score(y_train, y_pred)

完美!

然而，这仅仅意味着该模型能够完美地记忆训练数据集

这并不意味着该模型能够对没有见过的新的数据集进行分类

为此，我们需要在测试集上进行预测

代码示例：

ret, y_pred = lr.predict(X_test)
metrics.accuracy_score(y_test, y_pred)
算训练集上的精度

代码示例：

```python
metrics.accuracy_score(y_train, y_pred)

完美!

然而，这仅仅意味着该模型能够完美地记忆训练数据集

这并不意味着该模型能够对没有见过的新的数据集进行分类

为此，我们需要在测试集上进行预测

代码示例：

ret, y_pred = lr.predict(X_test)
metrics.accuracy_score(y_test, y_pred)