“那个谁,不是说要记录学习python吗,人呢????”
对八七,俺来了。
感知机,作为深度学习起源的算法,学!
一、了解感知机
感知机接收多个输入信号,输出一个信号。上图是一个有两个输入的感知机,其中x1、x2是输入信号, y是输出信号,w1、w2是权重。每个圈被称为“神 经元”或者“节点”。输入信号被送往神经元时,会被分别乘以固定的权重,神经元会计算传送过来的信号的总和,只有当这个总和超过了某个界限值(阈值,用符号θ)时,才输出1,称为“神经元被激活” 。
权重越大,证明该信号的重要性越高。
二、简单逻辑电路
用与门举个例子,真值表如下图:
用感知机来设立这个与门的话,那我们就要考虑x1、x2的权重以及阈值的取值,满足条件的数值有无数个,如(w1,w2,θ) 为(0.5,0.5, 0.8)或者(1.0, 1.0, 1.0)时,都可满足与门的条件。设定这样的参数后,仅当x1和x2同时为1时,信号的加权总和才会超过给定的阈值θ。
与门、或门和与非门的感知机构造是一样的,通过适当地调整参数的值(权重和阈值),即可实现。
三、感知机的实现
1、与门的实现
>>> def AND(x1,x2):
... w1,w2,theta=0.5,0.5,0.7
... tmp=x1*w1+x2*w2
... if tmp<=theta:
... return 0
... elif tmp>theta:
... return 1
...
>>> AND(0,0)
0
>>> AND(1,0)
0
>>> AND(1,1)
1
2、权重与偏置
修改一下上面的式子(为方便接下来的学习)
其中b称为偏置
>>> import numpy as np
>>> def AND(x1,x2):
... x=np.array([x1,x2])
... w=np.array([0.5,0.5])
... b=-0.7
... tmp=np.sum(w*x)+b
... if tmp<=0:
... return 0
... else:
... return 1
在NumPy数组的乘法运算中,当两个数组的元素个数相同时,各个元素分别相乘,wx的结果为([0, 1] * [0.5, 0.5] => [0, 0.5])。np.sum(wx)为计算相乘后的各个元素的总和。
同样的,仅仅修改偏置和权重的值即可实现与非门和或门。
>>> def NAND(x1,x2): #与非门
... x=np.array([x1,x2])
... w=np.array([-0.5,-0.5]) #修改权重
... b=0.7 #修改偏置
... tmp=np.sum(w*x)+b
... if tmp<=0:
... return 0
... else:
... return 1
>>> def OR(x1,x2): #或门
... x=np.array([x1,x2])
... w=np.array([0.5,0.5]) #修改权重
... b=-0.2 #修改偏置
... tmp=np.sum(w*x)+b
... if tmp<=0:
... return 0
... else:
... return 1
2、感知机的局限
或门的实现:
表示的感知机会生成由直线−0.5 + x1 + x2 = 0分割开的两个空 间。其中一个空间输出1,另一个空间输出0,○表示0,△表示1。
或门可以用一条直线进行分割,而这也是感知机的局限所在,只能表示由一条直线分割的空间,下图异或门的区域不可用一条直线表示。
我们称可由上图这样的曲线分割而成的空间称为 非线性空间,由直线分割而成的空间称为线性空间。
四、多层感知机
1、已有门路的组合
已知与门、或门、与非门,实现异或门:
>>> def XOR(x1,x2):
... s1=NAND(x1,x2) #上面定义了
... s2=OR(x1,x2)
... y=AND(s1,s2)
... return y
...
>>>
这种叠加了多层的感知机称为多层感知机。多层感知机能够进行复杂的表示,甚至可以构建计算机!!!理论上可以说2层感知机就能构建计算机。这是因为,已有研究证明, 2层感知可以表示任意函数。