第二章 感知机

本章将介绍感知机A （perceptron）这一算法。感知机是由美国学者Frank
Rosenblatt在1957年提出来的。为何我们现在还要学习这一很久以前就有的算法呢？因为感知机也是作为神经网络（深度学习）的起源的算法。因此，学习感知机的构造也就是学习通向神经网络和深度学习的一种重要思想。
本章我们将简单介绍一下感知机，并用感知机解决一些简单的问题。希望读者通过这个过程能熟悉感知机。

感知机是什么

感知机接收多个输入信号，输出一个信号。这里所说的“信号”可以想
象成电流或河流那样具备“流动性”的东西。像电流流过导线，向前方输送电子一样，感知机的信号也会形成流，向前方输送信息。但是，和实际的电流不同的是，感知机的信号只有“流/不流”（1/0）两种取值。
在本书中，0 对应“不传递信号”，1 对应“传递信号”。图2-1是一个接收两个输入信号的感知机的例子。x1、x2是输入信号，y是输出信号，w1、w2是权重（w是weight的首字母）。图中的○称为“神经元”或者“节点”。输入信号被送往神经元时，会被分别乘以固定的权重（w1x1、w2x2）。
神经元会计算传送过来的信号的总和，只有当这个总和超过了某个界限值时，才会输出1。这也称为“神经元被激活”。这里将这个界限值称为阈值，用符号θ表示。

权重相当于电流里所说的电阻。电阻是决定电流流动难度的参数，电阻越低，通过的电流就越大。而感知机的权重则是值越大，通过的信号就越大。不管是电阻还是权重，在控制信号流动难度（或者流动容易度）这一点上的作用都是一样的。

简单逻辑电路

与门

与非门和或门

这里决定感知机参数的并不是计算机，而是我们人。我们看着真值表这种“训练数据”，人工考虑（想到）了参数的值。而机器学习的课题就是将这个决定参数值的工作交由计算机自动进行。学习是确定合适的参数的过程，而人要做的是思考感知机的构造（模型），并把训练数据交给计算机。
如上所示，我们已经知道使用感知机可以表示与门、与非门、或门的逻辑电路。这里重要的一点是：与门、与非门、或门的感知机构造是一样的。
实际上，3个门电路只有参数的值（权重和阈值）不同。也就是说，相同构造的感知机，只需通过适当地调整参数的值，就可以像“变色龙演员”表演不同的角色一样，变身为与门、与非门、或门。

感知机的实现

简单的实现

#现在，我们用Python来实现刚才的逻辑电路。这里，先定义一个接收参数x1和x2的AND函数。 
def AND(x1, x2): 
 w1, w2, theta = 0.5, 0.5, 0.7 
 tmp = x1*w1 + x2*w2 
 if tmp <= theta: 
 	return 0 
 elif tmp > theta: 
 return 1 
#在函数内初始化参数w1、w2、theta，当输入的加权总和超过阈值时返回1， 
#否则返回0。我们来确认一下输出结果是否如图2-2所示。 
AND(0, 0) # 输出0 
AND(1, 0) # 输出0 
AND(0, 1) # 输出0 
AND(1, 1) # 输出1 
#果然和我们预想的输出一样！这样我们就实现了与门。按照同样的步骤，
#也可以实现与非门和或门，不过让我们来对它们的实现稍作修改。

导入权重和偏置

>>> import numpy as np
>>> x = np.array([0, 1]) # 输入
>>> w = np.array([0.5, 0.5]) # 权重
>>> b = -0.7 # 偏置
>>> w*x
array([ 0. , 0.5])
>>> np.sum(w*x)
0.5
>>> np.sum(w*x) + b
-0.19999999999999996 # 大约为-0.2（由浮点小数造成的运算误差）

如上例所示，在NumPy数组的乘法运算中，当两个数组的元素个数相同时，各个元素分别相乘，因此wx的结果就是它们的各个元素分别相乘（[0, 1] * [0.5, 0.5] => [0, 0.5]）。之后，np.sum(wx)再计算相乘后的各个元素的总和。最后再把偏置加到这个加权总和上，就完成了式（2.2）的计算。

使用权重和偏置的实现

使用权重和偏置，可以像下面这样实现与门。
def AND(x1, x2):
 x = np.array([x1, x2])
 w = np.array([0.5, 0.5])
 b = -0.7
 tmp = np.sum(w*x) + b
 if tmp <= 0:
 return 0
 else:
 return 1

这里把−θ命名为偏置b，但是请注意，偏置和权重w1、w2的作用是不一样的。具体地说，w1和w2是控制输入信号的重要性的参数，而偏置是调整神经元被激活的容易程度（输出信号为1的程度）的参数。比如，若b为−0.1，则只要输入信号的加权总和超过0.1，神经元就会被激活。但是如果b为−20.0，则输入信号的加权总和必须超过20.0，神经元才会被激活。像这样，偏置的值决定了神经元被激活的容易程度。另外，这里我们将w1和w2称为权重，将b称为偏置，但是根据上下文，有时也会将b、w1、w2这些参数统称为权重。
偏置这个术语，有“穿木屐”A 的效果，即在没有任何输入时（输入为0时），给输出穿上多高的木屐（加上多大的值）的意思。实际上，在式(2.2)
的b + w1x1 + w2x2的计算中，当输入x1和x2为 0时，只输出偏置的值。 接着，我们继续实现与非门和或门。

def NAND(x1, x2):
 x = np.array([x1, x2])
 w = np.array([-0.5, -0.5]) # 仅权重和偏置与AND不同！
 b = 0.7
 tmp = np.sum(w*x) + b
 if tmp <= 0:
 return 0
 else:
 return 1
def OR(x1, x2):
     x = np.array([x1, x2])
 	w = np.array([0.5, 0.5]) # 仅权重和偏置与AND不同！
 	b = -0.2
 	tmp = np.sum(w*x) + b
 	if tmp <= 0:
 		return 0
 	else:
 		return 1

我们在2.2节介绍过，与门、与非门、或门是具有相同构造的感知机，区别只在于权重参数的值。因此，在与非门和或门的实现中，仅设置权重和偏置的值这一点和与门的实现不同。

感知机的局限性

到这里我们已经知道，使用感知机可以实现与门、与非门、或门三种逻
辑电路。现在我们来考虑一下异或门（XOR gate）。

异或门

异或门也被称为逻辑异或电路。如图2-5所示，仅当x1或x2中的一方为1时，才会输出1（“异或”是拒绝其他的意思）。那么，要用感知机实现这个异或门的话，应该设定什么样的权重参数呢？

多层感知机

感知机不能表示异或门让人深感遗憾，但也无需悲观。实际上，感知机的绝妙之处在于它可以“叠加层”（通过叠加层来表示异或门是本节的要点）。这里，我们暂且不考虑叠加层具体是指什么，先从其他视角来思考一下异或门的问题。

已有门电路的组合

异或门的制作方法有很多，其中之一就是组合我们前面做好的与门、与非门、或门进行配置。。这里，与门、与非门、或门用图2-9中的符号表示。另外，图2-9中与非门前端的○表示反转输出的意思。
那么，请思考一下，要实现异或门的话，需要如何配置与门、与非门和或门呢？这里给大家一个提示，用与门、与非门、或门代替图2-10中的各个“？”，就可以实现异或门。

上面讲到的感知机的局限性，严格地讲，应该是“单层感知机无法表示异或门”或者“单层感知机无法分离非线性空间”。接下来，我们将看到通过组合感知机（叠加层）就可以实现异或门。
异或门可以通过图2-11所示的配置来实现。这里，x1和x2表示输入信号，y表示输出信号。x1和x2是与非门和或门的输入，而与非门和或门的输出则是与门的输入。

现在，我们来确认一下图2-11的配置是否真正实现了异或门。这里，把s1作为与非门的输出，把s2作为或门的输出，填入真值表中。结果如图2-12所示，观察x1、x2、y，可以发现确实符合异或门的输出。

异或门的实现

下面我们试着用Python来实现图2-11所示的异或门。使用之前定义的AND函数、NAND函数、OR函数，可以像下面这样（轻松地）实现。

def XOR(x1, x2): 
    s1 = NAND(x1, x2) 
	s2 = OR(x1, x2) 
	y = AND(s1, s2) 
	return y 
#这个XOR函数会输出预期的结果。 
XOR(0, 0) # 输出0 
XOR(1, 0) # 输出1 
XOR(0, 1) # 输出1 
XOR(1, 1) # 输出0 

这样，异或门的实现就完成了。下面我们试着用感知机的表示方法（明确地显示神经元）来表示这个异或门，结果如图2-13所示。
如图2-13所示，异或门是一种多层结构的神经网络。这里，将最左边的一列称为第0层，中间的一列称为第1层，最右边的一列称为第2层。
图2-13所示的感知机与前面介绍的与门、或门的感知机（图2-1）形状不同。实际上，与门、或门是单层感知机，而异或门是2层感知机。叠加了多层的感知机也称为多层感知机（multi-layered perceptron）。

图 2-13中的感知机总共由 3层构成，但是因为拥有权重的层实质上只有 2层（第 0层和第 1层之间，第 1层和第
2层之间），所以称为“2层感知机”。不过，有的文献认为图 2-13的感知机是由 3层 构成的，因而将其称为“3层感知机”。
在图2-13所示的2层感知机中，先在第0层和第1层的神经元之间进行信号的传送和接收，然后在第1层和第2层之间进行信号的传送和接收，具体如下所示。

1.第0层的两个神经元接收输入信号，并将信号发送至第1层的神经元。
2.第1层的神经元将信号发送至第2层的神经元，第2层的神经元输出y。 这种2层感知机的运行过程可以比作流水线的组装作业。第1段（第1层）的工人对传送过来的零件进行加工，完成后再传送给第2段（第2层）的工人。第2层的工人对第1层的工人传过来的零件进行加工，完成这个零件后出货（输出）。
像这样，在异或门的感知机中，工人之间不断进行零件的传送。通过这样的结构（2层结构），感知机得以实现异或门。这可以解释为“单层感知机无法表示的东西，通过增加一层就可以解决”。也就是说，通过叠加层（加深层），感知机能进行更加灵活的表示。

从与非门到计算机

多层感知机可以实现比之前见到的电路更复杂的电路。比如，进行加法运算的加法器也可以用感知机实现。此外，将二进制转换为十进制的编码器、满足某些条件就输出1的电路（用于等价检验的电路）等也可以用感知机表示。
实际上，使用感知机甚至可以表示计算机！计算机是处理信息的机器。向计算机中输入一些信息后，它会按照某种既定的方法进行处理，然后输出结果。所谓“按照某种既定的方法进行处理”是指，计算机和感知机一样，也有输入和输出，会按照某个既定的规则进行计算。
人们一般会认为计算机内部进行的处理非常复杂，而令人惊讶的是，实际上只需要通过与非门的组合，就能再现计算机进行的处理。这一令人吃惊的事实说明了什么呢？说明使用感知机也可以表示计算机。前面也介绍了，与非门可以使用感知机实现。也就是说，如果通过组合与非门可以实现计算机的话，那么通过组合感知机也可以表示计算机（感知机的组合可以通过叠加了多层的单层感知机来表示）。
说到仅通过与非门的组合就能实现计算机，大家也许一下子很难相信。建议有兴趣的读者看一下**《计算机系统要素：从零开始构建现代计算机》**。这本书以深入理解计算机为主题，论述了通过 NAND构建可运行俄罗斯方块的计算机的过程。此书能让读者真实体会到，通过简单的 NAND元件就可以实现计算机这样复杂的系统。
综上，多层感知机能够进行复杂的表示，甚至可以构建计算机。那么，什么构造的感知机才能表示计算机呢？层级多深才可以构建计算机呢？理论上可以说2层感知机就能构建计算机。这是因为，已有研究证明，2层感知机（严格地说是激活函数使用了非线性的sigmoid函数的感知机，具体请参照下一章）可以表示任意函数。但是，使用2层感知机的构造，通过设定合适的权重来构建计算机是一件非常累人的事情。实际上，在用与非门等低层的元件构建计算机的情况下，分阶段地制作所需的零件（模块）会比较自然，即先实现与门和或门，然后实现半加器和全加器，接着实现算数逻辑单元（ALU），然后实现CPU。因此，通过感知机表示计算机时，使用叠加了多层的构造来实现是比较自然的流程。
本书中不会实际来实现计算机，但是希望读者能够记住，感知机通过叠加层能够进行非线性的表示，理论上还可以表示计算机进行的处理。

小结

本章我们学习了感知机。感知机是一种非常简单的算法，大家应该很快就能理解它的构造。感知机是下一章要学习的神经网络的基础，因此本章的内容非常重要。