神经网络---单层感知器

目录

单层感知器

感知器学习规则

模型收敛的条件

单层感知器程序

代码实现

---

单层感知器

单层感知器是最简单的神经网络。它包含输入层和输出层，而输入层和输出层是直接相连的。它的神经元突触权值可变，因此可以通过一定规则进行学习。可以快速、可靠地解决线性可分的问题。但是它训练完后的模型可能不是最优的并且不能解决非线性的问题。

 

 上图也可以简化如下：（将偏置因子b换成x0w0,x0=1）

 感知器学习规则

 

上边表示学习率，它的取值一般取0-1之间，学习率太大容易造成权值调整不稳定；学习率太小，权值调整太慢，迭代次数太多。

模型收敛的条件

1. 误差小于某个预先设定的较小的值
2. 两次迭代之间权值变化已经很小
3. 设定最大迭代次数，当迭代次数超过最大迭代次数就停止。

单层感知器程序

题目：假设平面坐标系上有四个点（3，3），（4，3）这两个点的标签为1，（1，1），（0，2）这两个点的标签为-1。构建神经网络来分类

思路：我们要分类的数据是2维数据，所以只需要2个输入节点，我们可以把神经元的偏置也设置成一个节点，这样我们需要3个输入节点。

•  输入数据有4个（1，3，3），（1，4，3），（1，1，1），（1，0，2）
• 数据对应的标签为（1，1，-1，-1）
• 初始化权值w0,w1,w2。取-1 到1的随机数
• 学习率设置为0.11
• 激活函数sign函数

代码实现

• 导入需要用到的包

import numpy as np
import matplotlib.pyplot  as plt
%matplotlib inline

•  输入数据、标签、初始化权值、设置学习率以及更新权值函数

#输入数据
X = np.array([[1,3,3],
              [1,4,3],
              [1,1,1],
              [1,0,2]])
#标签
Y = np.array([[1],
              [1],
              [-1],
              [-1]])

#权值初始化，3行1列，取值范围-1到1
W = (np.random.random([3,1])-0.5)*2

print(W)
#学习率设置
lr = 0.11
#神经网络输出
O = 0

def update():
    global X,Y,W,lr
    O = np.sign(np.dot(X,W)) # shape:(3,1)
    W_C = lr*(X.T.dot(Y-O))/int(X.shape[0])
    W = W + W_C

• 显示模型的最终结果（权值每更新一次，打印出结果，直到模型收敛）

for i in range(100):
    update()#更新权值
    print(W)#打印当前权值
    print(i)#打印迭代次数
    
    #正样本
    x1 = [3,4]
    y1 = [3,3]
    #负样本
    x2 = [1,0]
    y2 = [1,2]

    #计算分界线的斜率以及截距
    k = -W[1]/W[2]
    d = -W[0]/W[2]
    print('k=',k)
    print('d=',d)

    xdata = (0,5)
    
    plt.figure()
    plt.plot(xdata,xdata*k+d,'r')
    plt.scatter(x1,y1,c='b')
    plt.scatter(x2,y2,c='y')
    plt.show()
    
    O = np.sign(np.dot(X,W))#计算当前输出  
    if(O == Y).all(): #如果实际输出等于期望输出，模型收敛，循环结束
        print('Finished')
        print('epoch:',i)
        break

更新第一次的权值、斜率、截距以及训练模型图 

 更新第二次的权值、斜率、截距以及训练模型图 

 

 更新第三次的权值、斜率、截距以及训练模型图  

 

第三次我们可以看到，这条直线已经把我们的点分类开，所以模型训练结束，就不会再迭代下去。