模式识别实验三

实验三

一  实验名称

感知器设计

二 目的和意义

使用感知器完成线性分类任务

三 操作步骤或算法结构

1. 数据预处理。载入数据文件（ iris.csv 文件）中的数据，并将其分成样本向量矩阵X和样本分类结果向量 $\mathbf{G}$。

2. 给 $4$ 列向量的 $X$ 在最前增加一列常数 $1$，得到增广向量 $y$ 。定义增广权向量 $\alpha$，取各项初值为$1$ 。

3. 根据错分惩罚的感知器准则函数原理设计感知器（公式 $8.1$ 到 $8.4$，及教材 150 页算法 8-1 ），将包含三类的样本 $X$ 分别训练。取出每一类的 $80\%$ 作为训练样本，剩余 $20\%$ 作为对比样本。第一次训练，将第一类训练样本保持不变，第二第三类取负值，分类判断出第一类样本。第二次训练，将剩余样本的第二类保持不变，第三类取负值，试训练第二类样本。观察两次训练的结果是否收敛。

   • 公式 $8.1$
     $$f(\text{x})=\text{sign}({\omega }^T\text{x}+b)=\{\begin{array}{l}+1{\omega }^{T}x+b\ge 0\\ -1others\end{array}$$

   • 公式 $8.2$
     $$\text{sign}(\text{x})=\{\begin{array}{l}+1\text{x}\ge 0\\ -1\text{x}<0\end{array}$$

   • 公式 $8.3$
     $$-\frac{1}{||\omega ||}\sum _{x_i\in M}{y}_i({\omega }^T{\text{x}}_i+b)$$

   • 公式 $8.4$
     $$\begin{gathered} \frac{\partial L_i(\omega ,b)}{\partial \omega }=-y_i{\text{x}}_i \\ \frac{\partial L_i(\omega ,b)}{\partial b}=-y_i \end{gathered}$$

4. 调整上述步骤中的步长、训练样本分类方式和迭代次数参数，重复实验，观察结果。试推测感知器训练不收敛的可能原因。

四 结构程序设计

读取数据

import pandas as pd

iris = pd.read_csv('iris.csv')

训练模型

import pandas as pd
import numpy as np
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt

iris = load_iris()
df = pd.DataFrame(iris.data, columns=['sepal length', 'sepal width', 'petal length', 'petal width'])
df['label'] = iris.target

data = np.array(df.iloc[:100, [0, 1, -1]])
X, y = data[:, :-1], data[:, -1]
y = np.array([1 if i == 1 else -1 for i in y])

# 感知机模型
class Model:
    def __init__(self):
        self.w = np.ones(len(data[0]) - 1, dtype=np.float64)
        self.b = 0
        self.rate = 0.1

    def sign(self, x, w, b):
        y = np.dot(x, w) + b
        return y

    def fit(self, X_train, y_train):
        fault = False
        while not fault:
            wrong_count = 0
            for d in range(len(X_train)):
                x = X_train[d]
                y = y_train[d]
                if y * self.sign(x, self.w, self.b) <= 0:
                    self.w = self.w + self.rate * np.dot(y, x)
                    self.b = self.b + self.rate * y
                    wrong_count += 1
            if wrong_count == 0:
                fault = True
        return "success"

perceptron = Model()
perceptron.fit(X, y)

x = np.linspace(3, 6, 10)
y = -(perceptron.w[0] * x + perceptron.b) / perceptron.w[1]
plt.plot(x, y)

plt.plot(data[:50, 0], data[:50, 1], 'bo', color="blue", label="0")
plt.plot(data[50:100, 0], data[50:100, 1], 'bo', color="red", label="1")
plt.legend()
plt.show()

五 结果讨论与分析

可见感知机在该数据集上有非常好的分类效果。

对于较为简单的数据，不需要使用更加复杂的深度神经网络结构，使用传统的机器学习算法即可。不仅能够同样取得非常好的效果，并且在可解释性和算力要求上有优势。