从零到一实现神经网络（一）：感知机算法

本博客参考书籍：深度学习入门（斋藤康毅著）

感知机算法

1957年由美国学者Frank Rsenblatt提出，神经网络的起源算法。

概念

接收多个输入信号，输出一个信号（0或1）

下面举一个接受三个输入信号的感知机的例子

输入信号被神经元接收前，会被分别乘以各自的权重¹，然后经过神经元的处理（此处的处理为对输入的神经元加权求和），得到一个神经元的拟输出值，当这个拟输出值大于一定的阈值时，神经元才会输出1，表明该神经元被激活了²

将上面的过程用数学表达式表示为：

从上面的数学表达式中，我们可以发现阈值实际上表示的是神经元被激活的容易程度，而且实际输出值final与输入是一个线性的关系，因此上面的数学表达式也可以写为

利用感知机实现简单的逻辑电路

感知机的理论我们大概清楚了，如何利用它来解决实际问题？

与门

特点：

输入全为1时输出1，否则输出0

真值表

与门是一个具有两个输入一个输出的门电路，输入信号与输出信号之间的关系参考下面的真值表

x1	x2	final
0	0	0
0	1	0
1	0	0
1	1	1

感知机实现

def AND(x1,x2):
	w1,w2,theta=0.5,0.5,0.7
	tmp=w1*x1+w2*x2
	if tmp<=theta:
		return 0
	else:
		return 1		

改进：
从上面算法中我们看到在计算拟输出tmp时，需要计算权重与输入值相乘表达式，当输入值很多时，这个表达式会十分冗长，为了解决这个问题，我们引入numpy数组运算

def AND(x1,x2):
	x=np.array([x1,x2])		# 引入numpy数组
	w=np.arry([0.5,0.5])	# 引入numpy数组
	b=-0.7	
	tmp=np.sum(w*x)+b
	if tmp<=0:
		return 0
	else:
		return 1

与非门

特点

输入都为1时输出0，否则输出1

真值表

x1	x2	final
0	0	1
0	1	1
1	0	1
1	1	0

感知机实现

def NAND(x1,x2):
	x=np.array([x1,x2])
	w=np.arry([-0.5,-0.5])
	b=0.7
	tmp=np.sum(w*x)+b
	if tmp<=0:
		return 0
	else:
		return 1	
		

或门

特点

只要有一个输出信号为1即输出1，否则输出0

真值表

x1	x2	final
0	0	0
0	1	1
1	0	1
1	1	1

感知机实现

def OR(x1,x2):
	x=np.array([x1,x2])
	w=np.arry([0.5,0.5])
	b=-0.2
	tmp=np.sum(w*x)+b
	if tmp<=0:
		return 0
	else:
		return 1

关于感知机的局限性

1. 神经网络训练本质：仔细观察我们上面三种逻辑电路的实现过程，我们可以看到，只有权重参数和阈值不同，但却实现了不同的功能，实际上，神经网络的训练本质就是不断优化权重参数，在以后的学习过程中更要注意³

2. 感知机局限性：
   

我们看到与门，与非门，或门都可以通过一个线性函数分割为两个空间，其中一个空间输出0，另外一个空间输出1.
但是异或门却无论如何都不能使用一个直线分割为两个空间，只能使用曲线分割为两个空间，像这样由直线分割而成的空间称为线性空间，由曲线分割而成的空间称为非线性空间

异或门

单个感知机不能表示出异或门，但是我们可以通过叠加多个感知机来实现

感知机实现

多层感知机实现异或门的方法有很多， 笔者在这里介绍一种：x1,x2输入作为与非门和或门的输入，与非门和或门的输出作为与门的输入

代码实现

def XOR(x1,x2):
	return AND(NAND(x1,x2),OR(x1,x2))

---

1. 每个输入信号值都有各自的权重，这些权重表示输入信号的重要性。即权重值越高，对应的信号值对输出值的影响越大 ↩︎

2. 实际上，在生物神经元的工作机理中，神经元并不会简单的对所有输入值生成输出值，而是当输入值达到一定的阈值后才会有所反应。笔者的理解：神经网络本就是一个仿生学知识，感知机这样的设定也是受到生物神经元的启发 ↩︎

3. 笔者的感悟：所谓好的神经网络模型，就是被优化后的权重参数能够针对某一个问题达到优秀的拟合效果 ↩︎