感知机模型基础与案例代码

目录

一、前言

1.1简介

1.2概况

二、感知机的形式

 三、学习过程

1.确定模型：

2.函数优度

3.最优函数

 4.梯度下降

 5.得到的结果

 四：代码调试案例

1.梯度下降算法定义感知机

2.导入数据集：

3.将数据集用散点分割

4.训练模型

 5.得到结果

 总结：

---

一、前言

1.1简介

        感知机是一种线性分类模型，也就是说输入的数据必须是线性可分的。线性可分是说可以用一个线性函数把两类样本分开，比如二维空间中的直线、三维空间中的平面以及高维空间中的线性函数。所谓可分指可以没有误差地分开；线性不可分指有部分样本用线性分类面划分时会产生分类误差的情况。

1.2概况

感知机是集语音、文字、手语、人脸、表情、唇读、头势、体势等多通道为一体的,并对这些通道的信息进行编码、压缩、集成、融合的计算机智能接口系统。面向中国手语识别与合成的多功能感知机是多功能感知机的初期阶段目标。 

二、感知机的形式

公式如下：

​

符号语言：

​

 损失函数：

​

 它的结果通常是如下形式，模拟出这条线，我们可以定义左边为负样本，右边为正样本，这样损失函数也可以理解成

​

 即到分界线的距离之差。

​

 以下列鸢尾花数据集为例：http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.datahttp://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data

 三、学习过程

1.确定模型：

​

2.函数优度

 在进行优度操作时，得出，L（f）的和在不断变化，那么我们将每个值对应一个函数，那么存在一个最优函数min，我们对其进行操作。

3.最优函数

在最小的情况下，此时

 

 4.梯度下降

我们考虑损失函数𝐿(𝑤) 使用一个参数w：

通过这种方式确定最优值，也许存在局部最优值。

 5.得到的结果

我们可以得到一个这样的结果：

 四：代码调试案例

1.梯度下降算法定义感知机

import numpy as np
class Perceptron(object):
    def __init__(self, eta=0.01, n_iter=50, random_state=1):
        self.eta = eta
        self.n_iter = n_iter
        self.random_state = random_state

    def fit(self, X, y):
        rgen = np.random.RandomState(self.random_state)
        self.w_ = rgen.normal(loc=0.0, scale=0.01, size=1 + X.shape[1])
        self.errors_ = []
        # 第一层循环是迭代次数，第二层是随机梯度下降
        for _ in range(self.n_iter):
            errors = 0
            for xi, target in zip(X, y):
                # update 代表如何去改变参数
                update = self.eta * (target - self.predict(xi))
                # 下面的两项对应公式中，w1 和 w0（就是截距 b） 如何 改变自己得到一个更加正确的参数
                self.w_[1:] += update * xi
                self.w_[0] += update
                errors += int(update != 0.0)
            self.errors_.append(errors) 
        return self
    # 函数 fit 是一个训练的过程，构建机器学习算法还 需要预测，也就是 wx+b 然后和阈值进行对比，得到一个数值
    def net_input(self, X):
        return np.dot(X, self.w_[1:]) + self.w_[0]
    def predict(self, X):
        # 和阈值做比较，得到一个 1 或者 -1 的结果
        return np.where(self.net_input(X) >= 0.0, 1, -1)

2.导入数据集：

import pandas as pd
df = pd.read_csv('数据集/iris.data', header=None)

 

3.将数据集用散点分割

import matplotlib.pyplot as plt
import numpy as np

y = df.iloc[0:100, 4].values
y = np.where(y == 'Iris-setosa', -1, 1)

#确定作图大小
X = df.iloc[0:100, [0, 2]].values

plt.scatter(X[:50, 0], X[:50, 1],
            color='red', marker='o', label='setosa')
plt.scatter(X[50:100, 0], X[50:100, 1],
            color='blue', marker='x', label='versicolor')

plt.xlabel('sepal length [cm]')
plt.ylabel('petal length [cm]')
plt.legend(loc='upper left')
plt.show()

结果如下：

4.训练模型

ppn = Perceptron(eta=0.1, n_iter=10)
ppn.fit(X, y)
plt.plot(range(1, len(ppn.errors_) + 1), ppn.errors_, marker='o')
plt.xlabel('Epochs')
plt.ylabel('Number of updates')
plt.show()

 训练结果如下：

 5.得到结果

from matplotlib.colors import ListedColormap

def plot_decision_regions(X, y, classifier, resolution=0.02):

    # 修改显色
    markers = ('s', 'x', 'o', '^', 'v')
    colors = ('red', 'blue', 'lightgreen', 'gray', 'cyan')
    cmap = ListedColormap(colors[:len(np.unique(y))])
    x1_min, x1_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    x2_min, x2_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, resolution),
                           np.arange(x2_min, x2_max, resolution))
    Z = classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T)
    Z = Z.reshape(xx1.shape)
    plt.contourf(xx1, xx2, Z, alpha=0.3, cmap=cmap)
    plt.xlim(xx1.min(), xx1.max())
    plt.ylim(xx2.min(), xx2.max())
    for idx, cl in enumerate(np.unique(y)):
        plt.scatter(x=X[y == cl, 0], 
                    y=X[y == cl, 1],
                    alpha=0.8, 
                    c=colors[idx],
                    marker=markers[idx], 
                    label=cl, 
                    edgecolor='black')

plot_decision_regions(X, y, classifier=ppn)
plt.xlabel('sepal length [cm]')
plt.ylabel('petal length [cm]')
plt.legend(loc='upper left')
plt.show()

结果： 

 

 总结：

感知机现阶段的研究重点包括:大词汇量实时中国手语的识别;PC版和掌上电脑版中国手语合成系统;人脸图像的监测与识别等，在深度学习方面很重要，本文章仅供参考，有错误与不合适的地方记得私信作者，欢迎关注我们的公众号，一起学习。