第二章 感知机

2.1感知机是什么

感知机接收多个信号，输出一个信号。但是感知机的信号只有“流/不流”（1/0）两种。0对应“不传递信号”，1对“应传递信号”。

其中x1、x2作为两个输入信号，y为输出信号，w1,w2是权重（weight的首字母）。图中的○称为“神经元”或者“节点”。输入信号被送往神经元时，会分别乘以固定对应的权重（w1x1，w2x2）.神经元会计算传送过来的信号总和w1x1+w2x2，只有当这个总和超过了某个界定的值时，才会输出1，也称为“神经元被激活”。这里称这个界定的值为“阈值”

感知机的多个输入信号都有自己的权重，这些权重发挥着控制各个信号的重要性的作用。权重越大，对应该权重的信号的重要程度就越大。

2.2简单的逻辑电路

2.2.1与门（and gate）

与门是有两个输入一个输出的门电路。与门仅在两个输入均为1时输出位1，其余都为0。

那么如何用感知机来表示这个与门？其实有无数种表示方法：（w1，w2，）=（0.5，0.5，0.7），（w1，w2，）=（0.5，0.5，0.8）或者（w1，w2，）=（1.0，1.0，1.0）

2.2.2与非门和或门

与非门就是颠倒了与门的输出结果 ，仅当x1,x2同时为1时，输出结果为0，其余都为1。

那么如何用感知机来表示这个与门？其实有无数种表示方法：只要实现把与门的参数值的符号取反就能实现与非门。

或门是“只要有一个输入信号是1，输出就为1”

tips：感知机是人工干预考虑了参数的值，而机器学习的课题就是将这个决定参数的工作让计算机自动进行。学习是确定合适的参数的过程，而人要做的是思考感知机的构造（模型），并把训练数据交给计算机。

2.3感知机的实现

2.3.1与门感知机的实现

与门感知机

def END(x1,x2):#定义一个感知机的函数
    w1,w2,theta=0.5,0.5,0.7
    tmp=x1*w1+x2*w2
    if tmp<=theta:
        return 0
    elif tmp>theta:
        return 1

2.3.2导入权重和偏置

虽然与上一个式子符号不同，但是表达的内容是完全一样的。其中b成为偏置（bias）；w1,w2称为权重（weight）。感知机会计算输入信号和权重的乘积，然后再加上偏置，如果这个值大于0则输出1，如果小于0则输出0。

2.3.3使用权重和偏置的实现

使用权重和偏置实现与门

def AND(x1,x2):
    x=np.array([x1,x2])
    w=np.array([0.5,0.5])
    b=-0.7
    temp=np.sum(w*x)+b
    if temp<=0:
        return 0
    else:
        return 1

==其中w1,w2是控制输入信号重要性的参数，而偏置是调整神经元被激活的难易程度的参数。==比如b=-0.1，则只要输入信号的加权和大于-0.1，神经元就会被激活；如果b=20，则输入信号的加权和大于20，神经元才能被激活。

使用权重和偏置实现与非门

def NEND(x1,x2):
    x=np.array([x1,x2])
    w=np.array([-0.5,-0.5])#仅权重和偏置与AND不同！
    b=-0.7
    temp=np.sum(w*x)+b
    if temp<=0:
        return 0
    else:
        return 1

使用权重和偏置实现或门

def OR(x1,x2):
    x=np.array([x1,x2])
    w=np.array([0.5,0.5])
    b=-0.2
    temp=np.sum(w*x)+b
    if temp>=0:
        return 1
    else:
        return 0

与门、与非门、或门是具有相同构造的感知机，区别仅在于他们的权重和偏置参数不一样。因此仅通过设置不同的权重和参数的值就能实现不同的感知机。

2.4感知机的局限性

2.4.1异或门

异或门也被称为逻辑异或电路，仅当x1或x2中的一方为1时，才输出1，其余都为0。

其实用感知机是无法实现异或门的！
首先说一下或门，当（b,w1,w2）=(-0.5,1,1)时，满足或门的真值表。此时感知机可表示为

根据式子（2.3）可以得知，直线0.5+x1+x2=0把空间分为两个部分，其中一个输出为1，一个输出为0.

其中黄色部分为感知机输出为0的区域，图中三角形表示0，菱形表示1，要实现感知机，只需要把三角形和菱形分开就行。图中蓝色 的直线也将三角形和菱形分开了。
那么换成异或门来看看？

很显然，一条直线已经不能把三角形和菱形分开了！

2.4.2线性和非线性

上图中无法用一条直线将三角形和菱形分开，但如果把“直线”这条限制去掉就可以了。
感知机的局限性就在于他只能表示由一条直线分割的空间。弯曲的曲线就不能用感知机表示

如图，这样由曲线分割而成的空间称为非线性空间，由直线分割而成的空间称为线性空间。

2.5多层感知机

2.5.1已有门电路组合

单层感知机无法表示异或门，单层感知机无法分离线性空间。但是组合感知机（叠加层）可以实现异或门。


异或门的实现

def X1OR(x1,x2):
    s1=NAND(x1,x2)
    s2=OR(x1,x2)
    y=AND(s1,s2)
    return y

异或门是一种多层结构的神经网络，将最左边的一列称为第0层，中间的一列称为第1层。与门，或门是单层感知机，而异或门是2层感知机。叠加了多层的感知机称为多层感知机。

tips：上图所示的感知机由3层构成，但实质上拥有权重的层实质上只有2层（第0层和第1层，第1层和第2层之间），所以称之为2层感知机，不过有的文献认为其是三层构成的，称为“3层感知机”

单层感知机无法表示的东西，通过增加一层就可以解决，也就是说通过叠加层（加深层），感知机就能灵活的表示。

2.6从非门到计算机

已有研究表明：2层感知机（严格的说是激活函数使用了非线性的sigmoid函数的感知机）可以表示任意函数

2.7本章小结

1.感知机是具有输入和输出的算法。给定一个输入之后，并输出一个既定的值

2.感知机将权重和偏置设定为参数

3.使用感知机可以表示与门和或门等逻辑电路

4.异或门无法通过单层感知机来表示

5.使用2层感知机可以实现异或门

6.单层感知机只能表示线性空间，而多层感知机可以表示非线性空间

7.多层感知机在理论上可以表示计算机