机器学习_神经网络_单层感知器

单层感知器

1.人体神经网络

2.由人体神经网络构建人工神经网络

• 输入节点：x₁，x₂，x₃
• 输出节点：y
• 权向量：w₁，w₂，w₃
• 偏置因子：b
• 激活函数:
• 去掉偏置因子 b=x₀w₀，将图转换为

3.单层感知器学习规则

逐步更新权值，使得输出值逼近于正确标签。

4.学习率取值变化规律

• η取值一般在0~1之间
• 学习率太大容易造成权值调整不稳定
• 学习率太小，权值调整过慢，迭代次数太多
  

5.模型收敛条件

• 误差小于某个预先设定的较小的值
• 两次迭代之间的权值变化已经很小
• 设定最大迭代次数，当迭代超过最大次数就停止

6.单层感知器（简单二分类）程序

• 题目：假设平面坐标系上有四个点，(3,3),(4,3)这两个点的标签为1，(1,1),(0,2)这两个点的标签为-1。构建神经网络来分类。
• 思路：我们要分类的数据是2维数据，所以只需要2个输入节点，我们可 以把神经元的偏置值也设置成一个节点，这样我们需要3个输入节点。
• 输入数据有4个(1,3,3),(1,4,3),(1,1,1),(1,0,2)
  数据对应的标签为(1,1,-1,-1)
  初始化权值w0,w1,w2取-1到1的随机数
  学习率(learning rate)设置为0.11
  激活函数为sign函数
• 程序

import numpy as np
import matplotlib.pyplot as plt

#输入数据
X = np.array([[1,3,3],
              [1,4,3],
              [1,1,1],  
              [1,0,2]])
#标签
Y = np.array([[1],
              [1],
              [-1],
              [-1]])

#权值初始化，3行1列，取值范围-1到1
W = (np.random.random([3,1])-0.5)*2

print(W)
#学习率设置
lr = 0.11
#神经网络输出
O = 0

def update():
    global X,Y,W,lr
    O = np.sign(np.dot(X,W)) # shape:(3,1)
    W_C = lr*(X.T.dot(Y-O))/int(X.shape[0])
    W = W + W_C

产生三行一列随机的权值，例如

for i in range(100):
    update()#更新权值
    print(W)#打印当前权值
    print(i)#打印迭代次数
    O = np.sign(np.dot(X,W))#计算当前输出  
    if(O == Y).all(): #如果实际输出等于期望输出，模型收敛，循环结束
        print('Finished')
        print('epoch:',i)
        break

#正样本
x1 = [3,4]
y1 = [3,3]
#负样本
x2 = [1,0]
y2 = [1,2]

#计算分界线的斜率以及截距
k = -W[1]/W[2]
d = -W[0]/W[2]
print('k=',k)
print('d=',d)

xdata = (0,5)

plt.figure()
plt.plot(xdata,xdata*k+d,'r')
plt.scatter(x1,y1,c='b')
plt.scatter(x2,y2,c='y')
plt.show()

输出
[[ 0.02315167]
[-0.32239024]
[ 0.31036948]]
0
[[0.02315167]
[0.00760976]
[0.47536948]]
1
[[-0.08684833]
[-0.04739024]
[ 0.31036948]]
2
[[-0.19684833]
[-0.10239024]
[ 0.14536948]]
3
[[-0.14184833]
[ 0.28260976]
[ 0.36536948]]
4
[[-0.25184833]
[ 0.22760976]
[ 0.20036948]]
5
[[-0.36184833]
[ 0.17260976]
[ 0.03536948]]
6
Finished
epoch: 6
k= [-4.88018935]
d= [10.23052451]

• 单层感知器不足之处
  分类效果不是很理想
  不能解决非线性问题，例如异或问题（即不能使用一条直线来进行分类）
• 单层感知器不能解决异或问题举例
  程序与单层感知器简单二分类程序基本一致，只需修改初始数据和标签

#输入数据
X = np.array([[1,0,0],
              [1,0,1],
              [1,1,0],  
              [1,1,1]])
#标签
Y = np.array([[-1],
              [1],
              [1],
              [-1]])

输出

迭代了最大迭代次数100次也没能解决异或问题。