应用逻辑回归方法对鸢尾花进行分类
1. 实验目标
- 逻辑回归
- 了解Iris数据集
2. 本次实验主要使用的 𝑃𝑦𝑡ℎ𝑜𝑛Python 库
名称 | 版本 | 简介 |
---|---|---|
𝑛𝑢𝑚𝑝𝑦numpy | 1.16.21.16.2 | 线性代数 |
𝑜𝑝𝑒𝑛𝑐𝑣−𝑝𝑦𝑡ℎ𝑜𝑛opencv−python | 4.1.1.264.1.1.26 | 计算机视觉 |
𝑠𝑐𝑖𝑘𝑖𝑡−𝑙𝑒𝑎𝑟𝑛scikit−learn | 0.20.30.20.3 | 机器学习 |
𝑀𝑎𝑡𝑝𝑙𝑜𝑡𝑙𝑖𝑏Matplotlib | 3.0.33.0.3 | 数据可视化 |
3. 适用的对象
- 具备Python基础
- Numpy基础
- matplotlib基础
- OpenCV基础
- 学习对象:机器学习图像处理方向的本科学生、研究生、人工智能、算法相关研究者、开发者
Iris数据集
Iris数据集是常用的分类实验数据集,由Fisher, 1936收集整理
Iris也称鸢尾花卉数据集,是一类多重变量分析的数据集
数据集包含150个数据样本,分为3类,每类50个数据,每个数据包含4个属性
可通过花萼长度,花萼宽度,花瓣长度,花瓣宽度4个属性预测鸢尾花卉属于(Setosa,Versicolour,Virginica)三个种类中的哪一类
逻辑回归(logistic regression)
机器学习解决的问题,大体上就是两种:数值预测和分类
前者一般采用的是回归模型,比如最常用的线性回归
后者的方法则五花八门,决策树,kNN,支持向量机,朴素贝叶斯等等模型都是用来解决分类问题的
其实,两种问题从本质上讲是一样的:都是通过对已有数据的学习,构建模型,然后对未知的数据进行预测,若是连续的数值预测就是回归问题,若是离散的类标号预测,就是分类问题
这里面有一类比较特殊的算法,就是逻辑回归(logistic regression)
它叫“回归”,可见基本思路还是回归的那一套,同时,逻辑回归又是标准的解决分类问题的模型
换句话说,逻辑回归是用与回归类似的思路解决了分类问题
OpenCV中的逻辑回归
下载数据集
首先导入库
代码示例:
pip install numpy
pip install opencv-python==4.1.1.26
pip install scikit-learn
pip install matplotlib
import numpy as np
import cv2
from sklearn import datasets
from sklearn import model_selection
from sklearn import metrics
import matplotlib.pyplot as plt
%matplotlib inline
代码示例:
plt.style.use('ggplot')
加载数据集
代码示例:
iris = datasets.load_iris()
代码示例:
dir(iris)
我们有150个数据,每个数据四个特征
代码示例:
iris.data.shape
这四个特征对应于之前提到的萼片和花瓣的尺寸:
代码示例:
iris.feature_names
每个数据对应一个标签
代码示例:
iris.target.shape
我们可以查看分类标签,一共有三个
代码示例:
np.unique(iris.target)
将问题变为二分类问题
我们先区分,是否是2类的花
代码示例:
idx = iris.target != 2
data = iris.data[idx].astype(np.float32)
target = iris.target[idx].astype(np.float32)
查看数据
在开始建立模型之前,最好先查看一下数据
代码示例:
plt.figure(figsize=(10, 6))
plt.scatter(data[:, 0], data[:, 1], c=target, cmap=plt.cm.Paired, s=100)
plt.xlabel(iris.feature_names[0])
plt.ylabel(iris.feature_names[1]);
分离训练集与测试集
代码示例:
X_train, X_test, y_train, y_test = model_selection.train_test_split(
data, target, test_size=0.1, random_state=42
)
代码示例:
X_train.shape, y_train.shape
代码示例:
X_test.shape, y_test.shape
训练分类器
创建一个逻辑回归分类器的步骤和设置𝑘k-NN差不多:
代码示例:
lr = cv2.ml.LogisticRegression_create()
我们可以选择
cv2.ml.LogisticRegression_BATCH
cv2.ml.LogisticRegression_MINI_BATCH
这个我们以后再解释
现在我们只需要知道,我们想在每个数据点计算后都更新一次
代码示例:
lr.setTrainMethod(cv2.ml.LogisticRegression_MINI_BATCH)
lr.setMiniBatchSize(1)
我们还希望指定迭代次数
代码示例:
lr.setIterations(100)
然后我们可以调用对象的’ train '方法(与前面的方法完全相同)
成功后会返回“True”
代码示例:
lr.train(X_train, cv2.ml.ROW_SAMPLE, y_train);
查看学习后的权重
代码示例:
lr.get_learnt_thetas()
测试分类器
训练集上的预测
代码示例:
ret, y_pred = lr.predict(X_train)
计算训练集上的精度
代码示例:
metrics.accuracy_score(y_train, y_pred)
完美!
然而,这仅仅意味着该模型能够完美地记忆训练数据集
这并不意味着该模型能够对没有见过的新的数据集进行分类
为此,我们需要在测试集上进行预测
代码示例:
ret, y_pred = lr.predict(X_test)
metrics.accuracy_score(y_test, y_pred)
算训练集上的精度
代码示例:
```python
metrics.accuracy_score(y_train, y_pred)
完美!
然而,这仅仅意味着该模型能够完美地记忆训练数据集
这并不意味着该模型能够对没有见过的新的数据集进行分类
为此,我们需要在测试集上进行预测
代码示例:
ret, y_pred = lr.predict(X_test)
metrics.accuracy_score(y_test, y_pred)