神经网络----单层感知器

单层感知器结构

二分类的单层感知器的学习过程：

题目：

import numpy as np
import matplotlib.pyplot as plt

#输入数据
X = np.array([[1,3,3],
              [1,4,3],
              [1,1,1],
              [1,0,2]])
#标签
Y = np.array([[1],
              [1],
              [-1],
              [-1]])

#权值初始化，3行1列
W =[[1],[1],[1]]

#学习率设置
lr = 0.11
#神经网络输出
O = 0

def update():
    global X,Y,W,lr
    O = np.sign(np.dot(X,W)) # shape:(4,1)
    W_C = lr*(X.T.dot(Y-O))/int(X.shape[0])# 形象理解就是将输入的每一个（列）特征乘以当前的差异并求和后求平均，哪一列差异大就在哪一列上的权值改变大
    W = W + W_C


for i in range(100):
    update()#更新权值
    O = np.sign(np.dot(X,W))#计算当前输出，使用的激活函数是sign  
    if(O == Y).all(): #如果实际输出等于期望输出，模型收敛，循环结束
        print('Finished')
        print('epoch:',i)
        break

#正样本
x1 = [3,4]
y1 = [3,3]
#负样本
x2 = [1,0]
y2 = [1,2]

#计算分界线的斜率以及截距w0+w1*x1+w2*x2=0--->w0+w1*x+w2*y=0 : k=-w1/w2    b=-w0/w2
k = -W[1]/W[2]
d = -W[0]/W[2]
print('k=',k)
print('d=',d)

xdata = (0,5)


plt.plot(xdata,xdata*k+d,'r')
plt.scatter(x1,y1,c='b')
plt.scatter(x2,y2,c='y')
plt.show()

结果：

我们可以修改激活函数sign为purelin函数（即y = x），修改后的网络叫线性神经网络，对于上题，使用线性神经网络进行分割的效果更好，因为使用sign激活函数一旦把两个类别分开后，输出值与标准值的差异就确定了，不会再去更新权值。而使用purelin函数，还会继续更新，使得整体差异越来越小。下图是使用线性神经网络的分割结果：

单层感知器解决异或问题

如果仅仅通过直线是无法解决异或问题的分类的，下图是通过直线的分割效果：


以下是对神经元加入非线性输入的python代码：

import numpy as np
import matplotlib.pyplot as plt

#输入数据
X = np.array([[1,0,0,0,0,0],
              [1,0,1,0,0,1],
              [1,1,0,1,0,0],  
              [1,1,1,1,1,1]])
#标签
Y = np.array([[-1],
              [1],
              [1],
              [-1]])

#权值初始化，6行1列，取值范围-1到1
W = (np.random.random([6,1])-0.5)*2
print(W)
#学习率设置
lr = 0.11
#神经网络输出
O = 0

def update():
    global X,Y,W,lr
    O =np.dot(X,W) # shape:(4,1)
    W_C = lr*(X.T.dot(Y-O))/int(X.shape[0])
    W = W + W_C


for i in range(1000):#假设训练用1000达到收敛
    update()#更新权值

#正样本
x1 = [0,1]
y1 = [1,0]
#负样本
x2 = [0,1]
y2 = [0,1]

#计算分界线
def caculate(x,root):# w0+w1*x1+w2*x2+w3*x1*x1+w4*x1*x2+w5*x2*x2=0 : x1-->x,x2-->y
    a=W[5]
    b=W[2]+x*W[4]
    c=W[0]+x*W[1]+x*x*W[3]
    if root==1:
        return (-b+np.sqrt(b*b-4*a*c))/(2*a)
    if root==2:
        return (-b-np.sqrt(b*b-4*a*c))/(2*a)
    
    

xdata = np.linspace(-1,2)

plt.figure()
plt.plot(xdata,caculate(xdata,1),'r')
plt.plot(xdata,caculate(xdata,2),'r')

plt.scatter(x1,y1,c='b')
plt.scatter(x2,y2,c='y')
plt.show()

结果：