深度学习之感知机——学习总结

“那个谁，不是说要记录学习python吗，人呢？？？？”
对八七，俺来了。

感知机，作为深度学习起源的算法，学！

一、了解感知机

感知机接收多个输入信号，输出一个信号。上图是一个有两个输入的感知机，其中x1、x2是输入信号， y是输出信号，w1、w2是权重。每个圈被称为“神 经元”或者“节点”。输入信号被送往神经元时，会被分别乘以固定的权重，神经元会计算传送过来的信号的总和，只有当这个总和超过了某个界限值（阈值，用符号θ）时，才输出1，称为“神经元被激活” 。

权重越大，证明该信号的重要性越高。

二、简单逻辑电路

用与门举个例子，真值表如下图：

用感知机来设立这个与门的话，那我们就要考虑x1、x2的权重以及阈值的取值，满足条件的数值有无数个，如(w1,w2,θ) 为(0.5,0.5, 0.8)或者(1.0, 1.0, 1.0)时，都可满足与门的条件。设定这样的参数后，仅当x1和x2同时为1时，信号的加权总和才会超过给定的阈值θ。

与门、或门和与非门的感知机构造是一样的，通过适当地调整参数的值（权重和阈值），即可实现。

三、感知机的实现

1、与门的实现

>>> def AND(x1,x2):
...     w1,w2,theta=0.5,0.5,0.7
...     tmp=x1*w1+x2*w2
...     if tmp<=theta:
...             return 0
...     elif tmp>theta:
...             return 1
...
>>> AND(0,0)
0
>>> AND(1,0)
0
>>> AND(1,1)
1

2、权重与偏置

修改一下上面的式子（为方便接下来的学习)
其中b称为偏置

>>> import numpy as np
>>> def AND(x1,x2):
...     x=np.array([x1,x2])
...     w=np.array([0.5,0.5])
...     b=-0.7
...     tmp=np.sum(w*x)+b
...     if tmp<=0:
...             return 0
...     else:
...             return 1

在NumPy数组的乘法运算中，当两个数组的元素个数相同时，各个元素分别相乘，wx的结果为（[0, 1] * [0.5, 0.5] => [0, 0.5]）。np.sum(wx)为计算相乘后的各个元素的总和。

同样的，仅仅修改偏置和权重的值即可实现与非门和或门。

>>> def NAND(x1,x2): #与非门
...     x=np.array([x1,x2])
...     w=np.array([-0.5,-0.5]) #修改权重
...     b=0.7 #修改偏置
...     tmp=np.sum(w*x)+b
...     if tmp<=0:
...             return 0
...     else:
...             return 1

>>> def OR(x1,x2): #或门
...     x=np.array([x1,x2])
...     w=np.array([0.5,0.5]) #修改权重
...     b=-0.2 #修改偏置
...     tmp=np.sum(w*x)+b
...     if tmp<=0:
...             return 0
...     else:
...             return 1

2、感知机的局限

或门的实现：

表示的感知机会生成由直线−0.5 + x1 + x2 = 0分割开的两个空 间。其中一个空间输出1，另一个空间输出0，○表示0，△表示1。

或门可以用一条直线进行分割，而这也是感知机的局限所在，只能表示由一条直线分割的空间，下图异或门的区域不可用一条直线表示。


我们称可由上图这样的曲线分割而成的空间称为 非线性空间，由直线分割而成的空间称为线性空间。

四、多层感知机

1、已有门路的组合

已知与门、或门、与非门，实现异或门：

>>> def XOR(x1,x2):
...     s1=NAND(x1,x2) #上面定义了
...     s2=OR(x1,x2)
...     y=AND(s1,s2)
...     return y
...
>>>

这种叠加了多层的感知机称为多层感知机。多层感知机能够进行复杂的表示，甚至可以构建计算机！！！理论上可以说2层感知机就能构建计算机。这是因为，已有研究证明， 2层感知可以表示任意函数。