深度学习入门 (一)：神经网络的起源算法 -- 朴素感知机

• 本文为《深度学习入门 – 基于 Python 的理论与实现》、《统计学习方法》的读书笔记

感知机模型 (perceptron)

感知机 (线性分类模型)

• 假设输入空间 (特征空间) 是 $\mathcal{X}\subseteq {\mathbb{R}}^n$, 输出空间是 Y = { + 1 , − 1 } \mathcal Y = \{+1 ,-1\} Y={+1,−1}。输入 $x\in \mathcal{X}$, 输出 $y\in \mathcal{Y}$。由输入空间到输出空间的如下函数称为感知机:
  $$f(x)=\text{sign}(w\cdot x+b)$$$b$ 称为偏置 (bias)，$w$ 称为权重向量 (weight vector). 其中 $\text{sign}$ 为符号函数，也可以看作是感知机的激活函数
  

感知机是神经网络和支持向量机的基础

---

几何解释

• 线性方程 $w\cdot x+b=0$ 对应于特征空间 ${\mathbb{R}}^n$ 中的一个超平面 $S$， 其中 $w$ 是超平面的法向量，$b$ 是超平面的截距。这个超平面将特征空间划分为两个部分。位于两部分的点 (特征向量) 分别被分为正、负两类。因此，超平面 $S$ 称为分离超平面 (separating hyperplane)
  

感知机学习策略

数据集的线性可分性

• 如果存在某个超平面 $S$
  $$w\cdot x+b=0$$能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，则称数据集 $T$ 为线性可分数据集 (linearly separable data set)

感知机学习策略

损失函数定义

• 假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。为了找出这样的超平面，即确定感知机模型参数 $w$, $b$，需要确定一个学习策略，即定义 (经验) 损失函数并将损失函数极小化
  • 可将损失函数定义为误分类点到超平面 $S$ 的总距离

---

损失函数表示

• 我们先写出任一点 $x_0$ 到超平面 $S$ 的距离:
  
  • 证明：设 $x_0$ 在超平面上的投影为 $x^{\prime }$，则 $d=x_0-x^{\prime }$ 平行于 $w$，因此
    $$|d\cdot w|=||d||\cdot ||w||(1)$$又因为
    $$d\cdot w=x_0\cdot w-x^{\prime }\cdot w=x_0\cdot w+b(2)$$两式联立可得
    $$||d||=\frac{|w\cdot x_0+b|}{||w||}$$
• 对于误分类的数据 $(x_i,y_i)$ 来说，
  $$-y_i(w\cdot x_i+b)>0$$因此， 误分类点 $x_i$ 到超平面 $S$ 的距离是
  假设超平面 $S$ 的误分类点集合为 $M$，那么所有误分类点到超平面 $S$ 的总距离为
  不考虑 $\frac{1}{||w||}$ 就得到感知机学习的损失函数 (即使用函数间隔而非几何间隔)
  

该损失函数非负且是 $w,b$ 的连续可导函数

---

为什么可以不考虑 $\frac{1}{||w||}$?

Ref: 感知机的损失函数为什么可以采用函数间隔

• 感知机只适用于数据集线性可分的情况，因此我们的目的就是使感知机能正确分类所有的点，而正确分类所有的点时无论加不加 $\frac{1}{||w||}$ 损失函数均为 0，因此这里可以不考虑 $\frac{1}{||w||}$

感知机学习算法

感知机学习算法的原始形式

• 感知机学习算法采用随机梯度下降法。假设误分类点集合 $M$ 是固定的，那么损失函数 $L(w,b)$ 的梯度为
  随机选取一个误分类点 $(x_i,y_i)$ 对 $w,b$ 进行更新 (其中 $\eta$ 为学习率):
  

---

感知机学习算法的原始形式

• 感知机学习算法存在许多解，这些解既依赖于初值的选择，也依赖于迭代过程中误分类点的选择顺序。为了得到唯一的超平面，需要对分离超平面增加约束条件。这就是线性支持向量机的想法

算法的收敛性

• 现在证明，对于线性可分数据集感知机学习算法原始形式收敛， 即经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型

---

Notation

• 为了便于叙述与推导，设 $\hat{w}=(w^T,b{)}^T,\hat{x}=(x^T,1{)}^T$，感知机即为
  $$f(x)=\hat{w}\cdot \hat{x}$$

---

定理 2.1 (Novikoff)

• 设训练数据集 T = { ( x 1 , y 1 ) , . . . , ( x N , y N ) } T = \{(x_1,y_1),..., (x_N ,y_N)\} T={(x1​,y1​),...,(xN​,yN​)} 是线性可分的，其中 $x_i\in {\mathbb{R}}^n$, y i ∈ { − 1 , + 1 } y_i\in\{-1,+1\} yi​∈{−1,+1}，$i=1,...,N$，则
  • (1) 存在满足条件 $||{\hat{w}}_{opt}||=1$ 的超平面 ${\hat{w}}_{opt}\cdot \hat{x}=0$ 将训练数据集完全正确分开; 且存在 $\gamma >0$，对所有 $i=1,2,...,N$
    $$y_i({\hat{w}}_{opt}\cdot {\hat{x}}_i)\ge \gamma$$
  • (2) 令 $R={\max }_{1\le i\le N}||{\hat{x}}_i||$，则原始感知机算法在训练数据集上的误分类次数 $k$ 满足不等式
    $$k\le (\frac{R}{\gamma }{)}^2$$

证明

• (1) 由于数据集线性可分，因此必存在满足条件 $||{\hat{w}}_{opt}||=1$ 的超平面 ${\hat{w}}_{opt}\cdot \hat{x}=0$ 将训练数据集完全正确分开；进而有
  $$y_i({\hat{w}}_{opt}\cdot {\hat{x}}_i)>0$$所以取 γ = min ⁡ i { y i ( w ^ o p t ⋅ x ^ i ) } \gamma=\min_i\{y_i(\hat w_{opt}\cdot\hat x_i)\} γ=mini​{yi​(w^opt​⋅x^i​)} 即可
• (2) 感知机算法从 $w_0=0$ 开始，如果实例被误分类，则更新权重。令 $w_{k-1}$ 是第 $k$ 个误分类实例之前的扩充权重向量。若 $(x_i,y_i)$ 是被 ${\hat{w}}_{k-1}$ 误分类的数据，则
  即
  
  • 下面推导 ${\hat{w}}_k\cdot {\hat{w}}_{opt}\ge k\eta \gamma$:
    $$\begin{array}{rl}{\hat{w}}_k\cdot {\hat{w}}_{opt}& =({\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i)\cdot {\hat{w}}_{opt}\\ & ={\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta y_i{\hat{x}}_i\cdot {\hat{w}}_{opt}\\ & \ge {\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta \gamma \end{array}$$由此递推可得 ${\hat{w}}_k\cdot {\hat{w}}_{opt}\ge k\eta \gamma$
  • 下面推导 $||{\hat{w}}_k|{|}^2\le k{\eta }^2{R}^2$
    $$\begin{array}{rl}||{\hat{w}}_k|{|}^2& =||{\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i|{|}^2\\ & =||{\hat{w}}_{k-1}|{|}^2+2\eta y_i{\hat{w}}_{k-1}\cdot {\hat{x}}_i+{\eta }^2||{\hat{x}}_i|{|}^2\\ & \le ||{\hat{w}}_{k-1}|{|}^2+{\eta }^2||{\hat{x}}_i|{|}^2\\ & \le ||{\hat{w}}_{k-1}|{|}^2+{\eta }^2{R}^2\end{array}$$由此递推可得 $||{\hat{w}}_k|{|}^2\le k{\eta }^2{R}^2$
  • 由上面推导的两式可知
    $$k\eta \gamma \le {\hat{w}}_k\cdot {\hat{w}}_{opt}\le ||{\hat{w}}_k||||{\hat{w}}_{opt}||\le \sqrt{k}\eta R$$于是
    $$k\le (\frac{R}{\gamma }{)}^2$$

当训练集线性不可分时，感知机学习算法不收敛， 迭代结果会发生震荡

感知机学习算法的对偶形式

感知机学习算法的原始形式和对偶形式与支持向量机学习算法的原始形式和对偶形式相对应

• 对偶形式的基本想法是，将 $w$ 和 $b$ 表示为实例 $x_i$ 和标记 $y_i$ 的线性组合的形式，通过求解其系数而求得 $w$ 和 $b$。不失一般性，在原始算法中可假设初始值 $w_0,b$ 均为 0。对误分类点 $(x_i,y_i)$ 通过
  逐步修改 $w,b$。设修改 $n$ 次，则 $w,b$ 关于 $(x_i,y_i)$ 的增量分别是 ${\alpha }_i{y}_i{x}_i$ 和 ${\alpha }_i{y}_i$，这里 ${\alpha }_i=n_i\eta$，$n_i$ 为 $(x_i,y_i)$ 更新的次数，实例点更新次数越多，意味着它距离分离超平面越近，也就越难正确分类。换句话说，这样的实例对学习结果影响最大。这样，从学习过程不难看出，最后学习到的 $w,b$ 可以分别表示为
  

---

Trick:

• 对偶形式中训练实例仅以内积的形式出现。为了方便，可以预先将训练集中实例间的内积计算出来并以矩阵的形式存储，即 Gram matrix
  

多层感知机

利用感知机实现与门，与非门以及或门

import numpy as np

def perceptron(x, w, b):
    val = np.sum(x * w) + b
    return 0 if val <= 0 else 1

# 使用装饰器来测试各种门，在原有的门的基础上进行一些打印输出
def test_gate(test = False):
    def decorator(gate):
        def wrapper(*args, **kargs):
            if test == True:
                print(gate.__name__, ':')
                for xs in [(0, 0), (1, 0), (0, 1), (1, 1)]:
                    y = gate(xs[0], xs[1])
                    print(str(xs) + " -> " + str(y))
            return gate(*args, **kargs)     
        return wrapper
    return decorator

@test_gate(True)
def and_gate(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    return perceptron(x, w, -0.75)

@test_gate(True)
def nand_gate(x1, x2):
    x = np.array([x1, x2])
    w = np.array([-0.5, -0.5])
    return perceptron(x, w, 0.75)

@test_gate(True)
def or_gate(x1, x2):
    x = np.array([x1, x2])
    w = np.array([1, 1])
    return perceptron(x, w, -0.5)

if __name__ == '__main__':
    and_gate(0, 0)
    nand_gate(0, 0)
    or_gate(0, 0)

代码输出：

and_gate :
(0, 0) -> 0
(1, 0) -> 0
(0, 1) -> 0
(1, 1) -> 1
nand_gate :
(0, 0) -> 1
(1, 0) -> 1
(0, 1) -> 1
(1, 1) -> 0
or_gate :
(0, 0) -> 0
(1, 0) -> 1
(0, 1) -> 1
(1, 1) -> 1

感知机的局限性

• 单层感知机无法分离非线性空间
  

利用感知机实现异或门

---

感知机通过叠加层实现异或门

• 感知机的绝妙之处在于它可以“叠加层”，组成多层感知机来分离非线性空间，进行非线性的表示。多层感知机即是一种多层结构的神经网络。已有研究证明，2 层感知机（严格地说是激活函数使用了非线性的 $sigmoid$ 函数的感知机，可以表示任意函数
  

---

@test_gate(True)
def xor_gate(x1, x2):
    s1 = nand_gate(x1, x2)
    s2 = or_gate(x1, x2)
    return and_gate(s1, s2)

if __name__ == '__main__':
    xor_gate(0, 0)

代码输出：

xor_gate :
(0, 0) -> 0
(1, 0) -> 1
(0, 1) -> 1
(1, 1) -> 0