目录
单层感知器
单层感知器是最简单的神经网络。它包含输入层和输出层,而输入层和输出层是直接相连的。它的神经元突触权值可变,因此可以通过一定规则进行学习。可以快速、可靠地解决线性可分的问题。但是它训练完后的模型可能不是最优的并且不能解决非线性的问题。
上图也可以简化如下:(将偏置因子b换成x0w0,x0=1)
感知器学习规则
上边表示学习率,它的取值一般取0-1之间,学习率太大容易造成权值调整不稳定;学习率太小,权值调整太慢,迭代次数太多。
模型收敛的条件
- 误差小于某个预先设定的较小的值
- 两次迭代之间权值变化已经很小
- 设定最大迭代次数,当迭代次数超过最大迭代次数就停止。
单层感知器程序
题目:假设平面坐标系上有四个点(3,3),(4,3)这两个点的标签为1,(1,1),(0,2)这两个点的标签为-1。构建神经网络来分类
思路:我们要分类的数据是2维数据,所以只需要2个输入节点,我们可以把神经元的偏置也设置成一个节点,这样我们需要3个输入节点。
- 输入数据有4个(1,3,3),(1,4,3),(1,1,1),(1,0,2)
- 数据对应的标签为(1,1,-1,-1)
- 初始化权值w0,w1,w2。取-1 到1的随机数
- 学习率设置为0.11
- 激活函数sign函数
代码实现
- 导入需要用到的包
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
- 输入数据、标签、初始化权值、设置学习率以及更新权值函数
#输入数据
X = np.array([[1,3,3],
[1,4,3],
[1,1,1],
[1,0,2]])
#标签
Y = np.array([[1],
[1],
[-1],
[-1]])
#权值初始化,3行1列,取值范围-1到1
W = (np.random.random([3,1])-0.5)*2
print(W)
#学习率设置
lr = 0.11
#神经网络输出
O = 0
def update():
global X,Y,W,lr
O = np.sign(np.dot(X,W)) # shape:(3,1)
W_C = lr*(X.T.dot(Y-O))/int(X.shape[0])
W = W + W_C
- 显示模型的最终结果(权值每更新一次,打印出结果,直到模型收敛)
for i in range(100):
update()#更新权值
print(W)#打印当前权值
print(i)#打印迭代次数
#正样本
x1 = [3,4]
y1 = [3,3]
#负样本
x2 = [1,0]
y2 = [1,2]
#计算分界线的斜率以及截距
k = -W[1]/W[2]
d = -W[0]/W[2]
print('k=',k)
print('d=',d)
xdata = (0,5)
plt.figure()
plt.plot(xdata,xdata*k+d,'r')
plt.scatter(x1,y1,c='b')
plt.scatter(x2,y2,c='y')
plt.show()
O = np.sign(np.dot(X,W))#计算当前输出
if(O == Y).all(): #如果实际输出等于期望输出,模型收敛,循环结束
print('Finished')
print('epoch:',i)
break
更新第一次的权值、斜率、截距以及训练模型图
更新第二次的权值、斜率、截距以及训练模型图
更新第三次的权值、斜率、截距以及训练模型图
第三次我们可以看到,这条直线已经把我们的点分类开,所以模型训练结束,就不会再迭代下去。