神经网络(1)—感知机

1.感知机模型

如图为人体神经网络图，输入信号从树突传入，在细胞核处汇总，输出信号从轴突处传出传入其他神经元，从而构成了一个人体的神经网络。而感知机其类似于一个神经元。

一个单层感知机与人体神经元类似，$x_1，x_2,x_3$为输入结点，及神经元的输入信号，$w_1,w_2,w_3$为各输入结点的权重，可以理解为神经元各个树突的电阻，到达细胞核后通过进行汇总，通过一个激活函数处理后进行输出。其中，w和b称为感知机模型参数，w 叫做权重，b叫做偏置，f为激活函数，其表达式为：
$$sign(x)=\{\begin{array}{l}1,x>=0\\ -1,x<0\end{array}\text{\hspace{1em}(1)}$$

为了方便矩阵运算，将添加一个输入恒为1的输入信号x_{0},其对应的权重w_{0}即为偏置项b。多个感知机组合起来就构成了神经网络。
 从感知机的激活函数的输出来看，感知机可以处理过后的输入信号进行分类。输出为1是一类，输出为-1又是一类。从几何上来看，感知机学习的目标是对一个线性可分得数据集T求得一个能对T中的正负样本进行正确划分的一个超平面，参数w即为该超平面的法向量，偏置b为超平面的截距。这个超平面将数据集划分为两个部分，位于平面两部分的点被分成了正负两类。

2.感知机的学习策略

 对于误分类的样本数据(x,y)来说，$(\hat{y}-y)(wx+b)>0$恒成立。应为当$wx+b>=0$时，模型输出值为1，而样本实际值为-1，反之，当$wx+b<0$时，模型输出为-1，而实际值为1，将两种情况带入可以得到$(\hat{y}-y)(wx+b)>0$恒成立。由此，对于给定数据集T，其损失函数可定义为
$$L(w,b)=\sum _{x_i\in M}(\widehat{y_i}-y_i)(w{x}_i+b)$$
M为误分类点集合
x显然损失函数是非负的，如果没有误分类点，损失函数值是0.误分类点越少，损失函数就越小。
则要求参数w,b,就可以通过求解损失函数最小值点来得出参数。故而最小化问题进一步转化为：
$$mi{n}_{w}L(w)=mi{n}_w\sum _{x\in M}(\widehat{y_i}-y_i)w{x}_i$$

3.感知机的学习算法

感知机学习算法是由误分类驱动的，具体采用随梯度下降法。首先，任意选取一个超平面$w_0{b}_0$,然后采用梯度下降法不断地极小化代价函数。极小化的过程不是一次使M中所有的误分类点的梯度下降，而是随机选取一个误差分类点使其梯度下降。
假设误分类样本集合M固定时，那么可以求得损失函数的梯度为：$$L(w)=\sum _{x_i\in M}(\widehat{y_i}-y_i)x_i$$
通过梯度下降w法梯度更新公式为：
$$w=w-\alpha (\widehat{y_i}-y_i)x_i=w+\alpha (y_i-\hat{y})x_i$$
所以感知机的学习算法为：
①选取初值$w_0$
②在数据集中选取$(x_0,y_0)$
③如果$(y_i-\widehat{y_i})（x_{i}w+b)<=0$则$w=w+\Delta w$
④转置②，直至训练集没有误分类点

4.代码实现

import numpy as np
import matplotlib.pyplot as plt
import random

x=np.array([[1,3,3],
            [1,4,3],
            [1,1,1],
            [1,0,2]])
y=np.array([[1],
            [1],
            [-1],
            [-1]])
w=np.random.random([3,1])#生成一个3行1列的矩阵
lr=0.01#学习率
epochs=100#最大迭代次数
O=0

def plot():
    #正样本
    x1 = [3,4]
    y1 = [3,3]
    #负样本
    x2 = [1,0]
    y2 = [1,2]

    #计算分界线的斜率以及截距
    k = -w[1]/w[2]
    d = -w[0]/w[2]   #w0+w1*x+w2*y=0
    print('k=',k)
    print('d=',d)

    xdata=(0,5)

    plt.plot(xdata,xdata*k+d,'r')
    plt.scatter(x1,y1,c='b')
    plt.scatter(x2,y2,c='y')
    plt.show()

$$\Delta w=-\alpha (\widehat{y_i}-y_i)x_i=\alpha (y_i-\widehat{y_i})x_i$$
$$w=w+\Delta w$$

def gard():
    global x,y,lr,w
    O=np.sign(np.dot(x,w))#预测输出
    #print(O)
    for i in range(x.shape[0]):
        a=x[i,:,np.newaxis].reshape(1,-1)
        b=O[i,:,np.newaxis].reshape(1,-1)
        if(np.dot(a,w)[0,0]*(y[i]-b)[0,0]<0):
            a=x[i,:,np.newaxis].reshape(1,-1)
            b=O[i,:,np.newaxis].reshape(1,-1)
            w_c=a.T.dot(y[i]-b)#
            w=w+lr*w_c#更新梯度
            break
    #print(w)
    return w
w=np.random.random([3,1])#生成一个3行1列的矩阵
for i in range(5000):
    w=gard()
    O=np.sign(np.dot(x,w))
    if(O==y).all():
        #print(O)
        #print(i)
    # if(i%10==0):
    #     plot()
    #     #print(w)
    #     #print(O) 
        break  
plot()  

k= [-0.09968292]
d= [2.60720738]