深度学习入门（一）感知机

该文将介绍感知机A（perceptron）这一算法。感知机是由美国学者Frank Rosenblatt在1957年提出来的。为何我们现在还要学习这一很久以前就有的 算 法 呢 ？ 因 为 感 知 机 也 是 作 为 神 经 网 络（深 度 学 习）的起源的算法 。 因此 ，学习感知机的构造也就是学习通向神经网络和深度学习的一种重要思想。该文我们将简单介绍一下感知机，并用感知机解决一些简单的问题。希望读者通过这个过程能熟悉感知机。

2.1 感知机是什么

感知机接收多个输入信号，输出一个信号。这里所说的“ 信号 ”可以想象成电流或河流那样具备“ 流 动 性 ”的东西 。像电流流过导线 ，向前方输送电子一样，感知机的信号也会形成流，向前方输送信息。但是，和实际的电流不同的是 ，感知机的信号只有“ 流/不流”（1/0）两种取值 。 在本书中 ，0

对应“不传递信号”，1对应“传递信号”。

该图是一个接收两个输入信号的感知机的例子。x1、x2是输入信号，y是输出信号，w1、w2是权重（w是weight的 首 字 母 ）。 图中的圈称为“ 神经元 ”或 者“ 节点 ”。输入信号被送往神经元时 ， 会被分别乘以固定的权重（w1x1、w2x2）。 神经元会计算传送过来的信号的总和 ，只有当这个总和超过了某个界限值时，才会输出1。 这 也 称 为“ 神 经 元 被 激 活 ”。这里将这个界限值称为阈值，用符号θ表示。

感知机的多个输入信号都有各自固有的权重，这些权重发挥着控制各个信号的重要性的作用。也就是说，权重越大，对应该权重的信号的重要性就越高。

权重相当于电流里所说的电阻。电阻是决定电流流动难度的参数，电阻越低，通过的电流就越大。而感知机的权重则是值越大，通过的信号就越大。不管是电阻还是权重，在控制信号流动难度（或者流动容易度）这一点上的作用都是一样的。

2.2 简单逻辑电路

2.2.1　与门

现在让我们考虑用感知机来解决简单的问题。这里首先以逻辑电路为题材来思考一下与门（AND gate）。与门是有两个输入和一个输出的门电路。下图这种输入信号和输出信号的对应表称为“真值表”。下图所示，与门仅在两个输入均为1时输出1，其他时候则输出0。

x1	x2	y
0	0	0
0	1	0
1	0	0
1	1	1

图2

下面考虑用感知机来表示这个与门。需要做的就是确定能满足图2的真值表的w1、w2、θ的值。那么，设定什么样的值才能制作出满足图2的条件的感知机呢？实际上，满足图2的条件的参数的选择方法有无数多个。比如，当(w1, w2, θ) = (0.5, 0.5, 0.7) 时，可以满足图 2的条件。此外，当 (w1, w2, θ)为(0.5, 0.5, 0.8)或 者(1.0, 1.0, 1.0)时，同样也满足与门的条件。设定这样的参数后，仅当x1和x2同时为1时，信号的加权总和才会超过给定的阈值θ。

2.2.2　与非门和或门

我们再来考虑一下与非门（NAND gate）。NAND是Not AND的意思，与非门就是颠倒了与门的输出。用真值表表示的话，仅 当x1和x2同 时 为1时 输 出0，其他时候则输出1。

要表示与非门，可以用(w1, w2, θ) = (−0.5, −0.5, −0.7)这 样 的 组 合（其他的组合也是无限存在的）。实际上，只要把实现与门的参数值的符号取反，就可以实现与非门。接下来看一下或门。或门是“只要有一个输入信号是1，输出就为1”的逻辑电路 。那么我们来思考一下 ，应该 这个或门设定什 么 样的参数呢？

这里决定感知机参数的并不是计算机，而是我们人。我们看着真值表这种“训练数据”，人工考虑（想到）了参数的值。而机器学习的课题就是将这个决定参数值的工作交由计算机自动进行。学习是确定

合适的参数的过程 ，而人要做的是思考感知机的构造（模 型），并把训练数据交给计算机。如上所示，我们已经知道使用感知机可以表示与门、与非门、或门的逻辑电路。这里重要的一点是：与门、与非门、或门的感知机构造是一样的。实际上，3个门电路只有参数的值（权重和阈值）不同。也就是说，相同构造的感知机，只需通过适当地调整参数的值，就可以像“ 变色龙演员 ”表演不同的角色一样，变身为与门、与非门、或门。

2.3 感知机的实现

2.3.1　简单的实现

现在，我们用Python来实现刚才的逻辑电路。这里，先定义一个接收

参数x1和x2的AND函数。

def AND(x1, x2):
    w1, w2, theta = 0.5, 0.5, 0.7
    tmp = x1*w1 + x2*w2
    if tmp <= theta:
        return 0
    elif tmp > theta:
        return 1

T = AND(0.2,0.9)  # 0
print(T)

在函数内初始化参数w1、w2、theta，当输入的加权总和超过阈值时返回1，

否则返回0。我们来确认一下输出结果是否正确。

AND(0, 0) # 输出0

AND(1, 0) # 输出0

AND(0, 1) # 输出0

AND(1, 1) # 输出1

果然和我们预想的输出一样！这样我们就实现了与门。按照同样的步骤，

也可以实现与非门和或门，不过让我们来对它们的实现稍作修改。

2.3.2　导入权重和偏置

刚才的与门的实现比较直接、容易理解，但是考虑到以后的事情，我们将其修改为另外一种实现形式。可以用下面式子来表示感知机的行为。

此处，b称为偏置，w1和w2称为权 重。如式上式所 示 ， 感 知机会计算输入信号和权重的乘积，然后加上偏置，如果这个值大于0则输出1，否则输出0。下面，我们使用NumPy，按式上式的方式实现感知机。在这个过程中，我们用Python的解释器逐一确认结果。

import numpy as np
x = np.array([0, 1]) # 输入
w = np.array([0.5, 0.5]) # 权重
b = -0.7 # 偏置

print(np.sum(w*x))
# 0.5

print(np.sum(w*x) + b)
# -0.19999999999999996

# 大约为-0.2（由浮点小数造成的运算误差）

如上例所示，在NumPy数组的乘法运算中，当两个数组的元素个数相同时，各个元素分别相乘，因此w*x的结果就是它们的各个元素分别相乘（[0, 1] * [0.5, 0.5] => [0, 0.5]）。之后，np.sum(w*x)再计算相乘后的各个元素的总和。最后再把偏置加到这个加权总和上，就完成了上式的计算。

2.3.3　使用权重和偏置的实现

使用权重和偏置，可以像下面这样实现与门。

def AND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1）

这里把−θ命名为偏置b，但是请注意，偏置和权重w1、w2的作用是不一样的。具体地说，w1和w2是控制输入信号的重要性的参数，而偏置是调整神经元被激活的容易程度（ 输出信号为1的程度）的参数。比如 ，若b为−0.1，则只要输入信号的加权总和超过0.1，神经元就会被激活。但是如果b−20.0，则输入信号的加权总和必须超过20.0，神经元才会被激活。像这样，偏置的值决定了神经元被激活的容易程度。另外，这里我们将w1和w2称为权重，将b称为偏置，但是根据上下文，有时也会将b、w1、w2这些参数统称为权重。偏置这个术语，有“穿木屐”A 的效果，即在没有任何输入时（输入为0 时），给输出穿上多高的木屐（加上多大的值）的意思 。 实际上 ，在b + w1x1 + w2x2的计算中，当输入x1和x2为 0时，只输出偏置的值。

接着，我们继续实现与非门和或门。

def NAND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([-0.5, -0.5]) # 仅权重和偏置与AND不同！
    b = 0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

def OR(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5]) # 仅权重和偏置与AND不同！
    b = -0.2
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

与门、与非门、或门是具有相同构造的感知机，区别只在于权重参数的值。因此，在与非门和或门的实现中，仅设置权重和偏置的值这一点和与门的实现不同。

2.4 感知机的局限性

到这里我们已经知道，使用感知机可以实现与门、与非门、或门三种逻辑电路。现在我们来考虑一下异或门（XOR gate）。

2.4.1　异或门

异或门也被称为逻辑异或电路。如图2-5所示，仅当x1或x2中的一方为1时，才会输出1（“ 异或 ”是拒绝其他的意思）。那么 ，要用感知机实现这个异或门的话，应该设定什么样的权重参数呢？

x1	x2	y
0	0	0
0	1	1
1	0	1
1	1	0

异或门的真值表

实际上，用前面介绍的感知机是无法实现这个异或门的。

图1

图2

图1中的○和△无法用一条直线分开，但是如果将“直线”这个限制条件去掉，就可以实现了。比如，我们可以像图2那样，作出分开○和△的空间。感知机的局限性就在于它只能表示由一条直线分割的空间。图2这样弯曲的曲线无法用感知机表示。另外，由图28这样的曲线分割而成的空间称为非线性空间，由直线分割而成的空间称为线性空间。线性、非线性这两个术语在机器学习领域很常见，可以将其想象成图1和图2所示的直线和曲线。

2.5 多层感知机

感知机不能表示异或门让人深感遗憾，但也无需悲观。实际上，感知机的绝妙之处在于它可以“ 叠加层 ”（通过叠加层来表示异或门是本节的要点）。这里，我们暂且不考虑叠加层具体是指什么，先从其他视角来思考一下异或门的问题。

2.5.1　已有门电路的组合

异或门的制作方法有很多，其中之一就是组合我们前面做好的与门、与非门、或门进行配置。

2.4 节讲到的感知机的局限性，严格地讲，应该是“单层感知机无法表示异或门 或者“ 单层感知无法 分离线性空间 ”。接下来 ，我们将看到通过组合感知机（叠加层）就可以实现异或门。

x1和x2表示输入信号，y表示输出信号。x1和x2是与非门和或门的输入，而与非门和或门的输出则

是与门的输入。s1作为与非门的输出，把s2作为或门的输出，填入真值表中。

x1	x2	s1	s2	y
0	0	1	0	0
1	0	1	1	1
0	1	1	1	1
1	1	0	1	0

2.5.2　异或门的实现

下面我们试着用Python来实现图2-11所示的异或门。使用之前定义的

AND函数、NAND函数、OR函数，可以像下面这样（轻松地）实现。

def XOR(x1, x2):
    s1 = NAND(x1, x2)
    s2 = OR(x1, x2)
    y = AND(s1, s2)
    return y

这个XOR函数会输出预期的结果。

XOR(0, 0) # 输出0

XOR(1, 0) # 输出1

XOR(0, 1) # 输出1

XOR(1, 1) # 输出0

这样 ，异或门的实现就完成了 。试着用感知机的表示方法（明确地显示神经元）来表示这个异或门，结果如图3所示。如图3所示，异或门是一种多层结构的神经网络。这里，将最左边的一列称为第0层，中间的一列称为第1层，最右边的一列称为第2层。图3所示的感知机与前面介绍的与门 、或门的感知 机（图2-1）形状不同。实际上，与门、或门是单层感知机，而异或门是2层感知机。叠加了多层的感知机也称为多层感知机（multi-layered perceptron）。

图3

图3中的感知机总共由 3层构成。在图3所示的2层感知机中，先在第0层和第1层的神经元之间进行

信号的传送和接收，然后在第1层和第2层之间进行信号的传送和接收，具体如下所示。

1.第0层的两个神经元接收输入信号，并将信号发送至第1层的神经元。

2.第1层的神经元将信号发送至第2层的神经元，第2层的神经元输出y。

这种2层感知机的运行过程可以比作流水线的组装作业。第1段（第1层）的工人对传送过来的零件进行加工，完成后再传送给第2段（第2层）的工人。第2层的工人对第1层的工人传过来的零件进行加工，完成这个零件后出货（输出）。像这样，在异或门的感知机中，工人之间不断进行零件的传送。通过这样的结构（2层结构）， 感知机得以实现异或门 。 这可以解释为“ 单层感知机无法表示的东西，通过增加一层就可以解决”。也就是说，通过叠加层（加深层），感知机能进行更加灵活的表示。

多层感知机可以实现比之前见到的电路更复杂的电路。按照某种既定的方法处理问题输出结果，有时候甚至可以替代计算。

参考资料：《深度学习入门 : 基于Python的理论与实现 》第二章