感知机学习

Nightmare004

已于 2023-04-30 14:01:11 修改

阅读量558

点赞数

分类专栏：深度学习数学文章标签：学习机器学习算法

于 2023-04-28 15:40:48 首次发布

本文链接：https://blog.csdn.net/qq_39942341/article/details/130424486

版权

数学同时被 2 个专栏收录

144 篇文章 19 订阅

订阅专栏

深度学习

50 篇文章 2 订阅

订阅专栏

定义

感知机(perceptron)：假设输入控件（特征空间）是 $\mathcal{X} \subseteq \mathbb{R}^n$ ,输出空间是 $\mathcal{Y}=\left\{+1, -1\right\}$ ,输入 $\mathbf{x}\in\mathcal{X}$ 表示实例的特征向量，对应于输入空间（特征空间）的点；输出 $y\in\mathcal{Y}$ 表示实例的类别。由输入空间到输出空间的如下函数
$f\left(\mathbf{x}\right) = \rm{sign}\left(\mathbf{w}\cdot \mathbf{x} + b\right)$
称为感知机，其中 $\mathbf{w}$ 和 $b$ 为感知机参数
$\rm{sign}\left(x\right) = \begin{cases} +1, & x\ge 0\\ -1, & x < 0 \end{cases}$
在这里插入图片描述

学习策略

数据集的线性可分性

给定一个数据集
$\left\{\left(\mathbf{x}_1, y_1\right), \left(\mathbf{x}_2, y_2\right),\cdots, \left(\mathbf{x}_N, y_N\right)\right\}$
其中 $\mathbf{x}_i \in \mathcal{X} = \mathbb{R}^n, y_i\in\mathcal{Y} = \left\{+1, -1\right\}$
如果存在某个超平面 $S$
$\mathbf{w}\cdot \mathbf{x} + b = 0$
能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，即对所有 $y_i = +1$ 的实例 $i$ ，有 $\mathbf{w}\cdot \mathbf{x}_i + b > 0$ ；对所有 $y_i = -1$ 的实例 $i$ ，有 $\mathbf{w}\cdot \mathbf{x}_i + b <0$ ,则称数据集 $T$ 为线性可分数据集（linearly separable data set），否则，称数据集 $T$ 线性不可分

学习策略

假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。

感知机所采用的损失函数是误分类点到超平面 $S$ 的总距离。

首先输入空间 $\mathbf{R}^n$ 中任一点 $\mathbf{x}_0$ 到超平面的距离：
$\frac{1}{\|\mathbf{w}\|} \left|\mathbf{w}\cdot \mathbf{x}_0 + b\right|$

其次，对于误分类数据 $\left(\mathbf{x}_i, y_i\right)$ 来说，
$-y_i\left(\mathbf{w}\cdot \mathbf{x}_i + b\right) > 0$
因此，误分类点 $\mathbf{x}_i$ 到超平面 $S$ 的距离是
$-\frac{1}{\|\mathbf{w}\|}y_i\left(\mathbf{w}\cdot \mathbf{x}_i + b\right)$
假设超平面 $S$ 的误分类点集合为 $M$ , 那么所有误分类点到超平面 $S$ 的总距离为
$-\frac{1}{\|\mathbf{w}\|}\sum_{\mathbf{x}_i\in M}y_i\left(\mathbf{w}\cdot \mathbf{x}_i + b\right)$
不考虑 $\frac{1}{\|\mathbf{w}\|}$ ，就是感知机学习的损失函数

给定训练数据
$\left\{\left(\mathbf{x}_1, y_1\right), \left(\mathbf{x}_2, y_2\right),\cdots, \left(\mathbf{x}_N, y_N\right)\right\}$
其中 $\mathbf{x}_i \in \mathcal{X} = \mathbb{R}^n, y_i\in\mathcal{Y} = \left\{+1, -1\right\}$
感知机 $\rm{sign}\left(\mathbf{w}\cdot \mathbf{x} + b\right)$ 学习的损失函数定义为
$L\left(\mathbf{w}, b\right) = -\sum_{\mathbf{x}_i \in M} y_i\left(\mathbf{w}\cdot \mathbf{x}_i + b\right)$
其中 $M$ 为误分类点的集合

感知机学习算法

原始形式

给定训练数据
$\left\{\left(\mathbf{x}_1, y_1\right), \left(\mathbf{x}_2, y_2\right),\cdots, \left(\mathbf{x}_N, y_N\right)\right\}$
其中 $\mathbf{x}_i \in \mathcal{X} = \mathbb{R}^n, y_i\in\mathcal{Y} = \left\{+1, -1\right\}$
求参数 $\mathbf{w}, b$ ,使其为一下损失函数极小化问题的解
$\min L\left(\mathbf{w}, b\right) = -\sum_{\mathbf{x}_i \in M} y_i\left(\mathbf{w}\cdot \mathbf{x}_i + b\right)$
其中 $M$ 为误分类点的集合

感知机学习算法是误分类驱动的，具体采用随机梯度下降法
首先任取一个超平面 $\mathbf{w}_0, b_0$ ,然后采用梯度下降法不断极小化目标函数
极小化过程中不是一次使 $M$ 中所有的误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降

$\nabla_{\mathbf{w}} L = -\sum_{\mathbf{x}_i \in M}y_i\mathbf{x}_i\\ \nabla_{b} L = -\sum_{\mathbf{x}_i \in M}y_i\\$

感知机学习算法的原始形式

输入： $\left\{\left(\mathbf{x}_1, y_1\right), \left(\mathbf{x}_2, y_2\right),\cdots, \left(\mathbf{x}_N, y_N\right)\right\}$ ,其中 $\mathbf{x}_i \in \mathcal{X} = \mathbb{R}^n, y_i\in\mathcal{Y} = \left\{+1, -1\right\}$ ；学习率 $\eta\left(0 < \eta \le 1\right)$
输出： $\mathbf{w}, b$ ；感知机模型 $f\left(x\right) = \rm{sign} \left(\mathbf{w}\cdot \mathbf{x} + b\right)$

(1)选取初始值 $\mathbf{w}_0, b_0$
(2)在训练中选取数据集 $\left(\mathbf{x}_i, y_i\right)$
(3)如果 $y_i\left(\mathbf{w}\cdot\mathbf{x} + b\right) \le 0$
$\mathbf{w} \leftarrow \mathbf{w} + \eta y_i \mathbf{x}_i\\ b \leftarrow b + \eta y_i$
(4)转至(2)直至训练集中没有误分类点

根据选择错误点的顺序，得到的结果可能也不同

收敛性

记 $\hat{\mathbf{w}} = \begin{pmatrix}\mathbf{w}\\b\\\end{pmatrix}, \hat{\mathbf{x}} = \begin{pmatrix}\mathbf{x}\\1\\\end{pmatrix}$
因此 $\hat{\mathbf{w}}\cdot \hat{\mathbf{x}} = \mathbf{w} \cdot \mathbf{x} + b$

Novikoff定理：设训练集 $\left\{\left(\mathbf{x}_1, y_1\right), \left(\mathbf{x}_2, y_2\right),\cdots, \left(\mathbf{x}_N, y_N\right)\right\}$ 线性可分,其中 $\mathbf{x}_i \in \mathcal{X} = \mathbb{R}^n, y_i\in\mathcal{Y} = \left\{+1, -1\right\}$
（1）存在满足条件 $\|\hat{\mathbf{w}}_{opt}\| = 1$ 的超平面 $\hat{\mathbf{w}}_{opt} \cdot \hat{\mathbf{x}} =0$ 将训练数据集完全正确分开；且存在 $\gamma > 0$ 使得
$y_i \left(\hat{\mathbf{w}}_{opt} \cdot \hat{\mathbf{x}}_i\right)\ge \gamma$
（2）令 $\max\limits_{1 \le i \le N}\|\hat{\mathbf{x}}_i\|$ ,则感知机算法在训练数据集上的误分类次数 $k$ 满足
$\le \left(\frac{R}{\gamma}\right)^2$

证明：
（1）由线性可分的定义，显然存在满足条件 $\|\hat{\mathbf{w}}_{opt}\| = 1$ 的超平面 $\hat{\mathbf{w}}_{opt} \cdot \hat{\mathbf{x}} =0$
令 $\gamma = \min\limits_{i} y_i \left(\hat{\mathbf{w}}_{opt} \cdot \hat{\mathbf{x}}_i\right)$ ,结论成立
（2）
设 $\hat{\mathbf{w}}_0 = \mathbf{0}$ ,如果实例被误分类，则更新权重
令 $\hat{\mathbf{w}}_{k-1}$ 使第 $k$ 个误分类实例之前的权重，则
$y_i\left(\hat{\mathbf{w}}_{k-1}\right) \cdot \hat{\mathbf{x}}_i \le 0$
并且
$\hat{\mathbf{w}}_k = \hat{\mathbf{w}}_{k-1} + \eta y_i\hat{\mathbf{x}}_i$

$\begin{aligned} \hat{\mathbf{w}}_k \cdot \hat{\mathbf{w}}_{opt} &= \hat{\mathbf{w}}_{k-1}\cdot \hat{\mathbf{w}}_{opt} + \eta y_i\left(\hat{\mathbf{x}}_i\cdot \hat{\mathbf{w}}_{opt}\right)\\ &\ge\hat{\mathbf{w}}_{k-1}\cdot \hat{\mathbf{w}}_{opt} + \eta\gamma\\ &\ge k\eta\gamma \end{aligned}$

根据 $y_i\left(\hat{\mathbf{w}}_{k-1}\right) \cdot \hat{\mathbf{x}}_i \le 0$ ，有
$\begin{aligned} \|\hat{\mathbf{w}}_k\|^2 &= \|\hat{\mathbf{w}}_{k-1}\|^2 + 2\eta y_i \left(\hat{\mathbf{w}}_{k-1}\cdot \hat{\mathbf{x}}_i\right) + \eta^2 y_i^2 \|\hat{\mathbf{x}}_i\|^2\\ &= \|\hat{\mathbf{w}}_{k-1}\|^2 + 2\eta y_i \left(\hat{\mathbf{w}}_{k-1}\cdot \hat{\mathbf{x}}_i\right) + \eta^2 \|\hat{\mathbf{x}}_i\|^2\\ &\le \|\hat{\mathbf{w}}_{k-1}\|^2 + \eta^2 \|\hat{\mathbf{x}}_i\|^2\\ &\le \|\hat{\mathbf{w}}_{k-1}\|^2 + \eta^2 R^2\\ &\le k \eta^2 R^2 \end{aligned}$
因此
$k\eta \gamma \le \hat{\mathbf{w}}_k \cdot \hat{\mathbf{w}}_{opt} \le \|\hat{\mathbf{w}}_k \|\| \hat{\mathbf{w}}_{opt}\|=\|\hat{\mathbf{w}}_k \|\le \sqrt{k} \eta R$
因此
$\le \left(\frac{R}{\gamma}\right)^2$

代码

#!/usr/bin/env python
# _*_ coding:utf-8 _*_
import numpy as np
import matplotlib.pyplot as plt


def perceptron(X, Y, w, lr, max_iter):
    """

    :param X: data(n, 2)
    :param Y: label(n, 1), {-1, +1}
    :param w: init weight(3, 1)
    :param lr: learning rate
    :param max_iter: max iter times
    :return:
    """
    n = X.shape[0]
    X = np.concatenate([np.ones((n, 1)), X], axis=1)  # (n,3)
    for idx in range(max_iter):
        output = Y * np.dot(X, w)
        errors = (output <= 0).nonzero()[0]
        if errors.shape[0] == 0:
            return w
        m = np.random.choice(errors)
        w = w + lr * (Y[m] * X[m]).T[..., None]

    return w


if __name__ == '__main__':
    np.random.seed(5)

    lr = 0.5
    w = np.zeros((3, 1), dtype=float)
    X = np.array([
        [3, 3],
        [4, 3],
        [1, 1]
    ])
    Y = np.array([1, 1, -1]).reshape(-1, 1)

    w = perceptron(X, Y, w, lr, 100)
    print(w)

    # plt.scatter(X[:, 0], X[:, 1], c=['b' if y >= 0 else 'g' for y in Y])
    plt.scatter(X[Y[:, 0] == 1, 0], X[Y[:, 0] == 1, 1], c='b', label='1')
    plt.scatter(X[Y[:, 0] == -1, 0], X[Y[:, 0] == -1, 1], c='g', label='-1')
    plt.legend()
    lin = np.linspace(-1, 5).reshape(-1, 1)
    # B + W1 X1 + W2 X2 = 0
    if np.abs(w[2, 0]) <= 0:  # X1 = - B / W1 (W2=0)
        assert np.abs(w[1, 0]) > 0
        plt.vlines(-w[0, 0] / w[1, 0], 1, 3)
    else:  # X2 = - (B + W1 X1)/ W2
        temp = -(lin * w[1, 0] + w[0, 0]) / w[2, 0]
        plt.plot(lin, temp)
    plt.show()