机器学习：神经网络

1 神经元模型

神经网络中最基本的成分是神经元模型。

2 单层感知器

输入节点：X1,X2,X3
输出节点：y
权向量： W1,W2,W3
偏置因子：b
激活函数：当x>=0,sign(x)=1；当x<0,sign(x)=-1。

举例：取W1=W2=W3=0.5 ，b=-0.8
当0.5x1+0.5x2+0.5x3-0.8>=0时，Y=1
当0.5x1+0.5x2+0.5x3-0.8<0时，Y=-1

X1	X2	X3	Y
0	0	0	-1
0	0	1	-1
0	1	0	-1
0	1	1	1
1	0	0	-1
1	0	1	1
1	1	0	1
1	1	1	1

3 感知器学习规则

举例：假设：t=1，η=1，x1=1，w1=-5，b=0:

学习率?取值一般取0-1之间
学习率太大容易造成权值调整不稳定
学习率太小，权值调整太慢，迭代次数太多

4 单层感知器程序

题目：假设平面坐标系上有四个点，(3,3),(4,3)这两个点的标签为1， (1,1),(0,2)这两个点的标签为-1。构建神经网络来分类。
思路：我们要分类的数据是2维数据，所以只需要2个输入节点，我们可 以把神经元的偏置值也设置成一个节点，这样我们需要3个输入节点。
输入数据有4个(1,3,3),(1,4,3), (1,1,1),(1,0,2) 数据对应的标签为(1,1,-1,-1) 初始化权值w0,w1,w2取-1到1的随机数 学习率(learning rate)设置为0.11 激活函数为sign函数

import numpy as np
import matplotlib.pyplot as plt

#输入数据
X = np.array([[1,3,3],
              [1,4,3],
              [1,1,1],
              [1,0,2]])
#标签
Y = np.array([[1],
              [1],
              [-1],
              [-1]])

#权值初始化，3行1列，取值范围-1到1
W = (np.random.random([3,1])-0.5)*2

print(W)
#学习率设置
lr = 0.11
#神经网络输出
O = 0

def update():
    global X,Y,W,lr
    O = np.dot(X,W)
    W_C = lr*(X.T.dot(Y-O))/int(X.shape[0])
    W = W + W_C

for _ in range(100):
    update()#更新权值

    #正样本
    x1 = [3,4]
    y1 = [3,3]
    #负样本
    x2 = [1,0]
    y2 = [1,2]

    #计算分界线的斜率以及截距
    k = -W[1]/W[2]
    d = -W[0]/W[2]
    print('k=',k)
    print('d=',d)

    xdata = (0,5)

    plt.figure()
    plt.plot(xdata,xdata*k+d,'r')
    plt.scatter(x1,y1,c='b')
    plt.scatter(x2,y2,c='y')
    plt.show()