单层感知机——异或问题
异或问题:
0^0 = 0
0^1 = 1
1^0 = 1
1^1 = 0
代码解释:
- 初始输入为四个点的数据以及偏置bias量
- 学习率设置为0.11
- 迭代次数为100次
- 主要使用了numpy和matplotlib库
代码:
import numpy as np
import matplotlib.pyplot as plt
# 载入数据
x_data = np.array([[1,0,0],
[1,0,1],
[1,1,0],
[1,1,1]])
y_data = np.array([[-1],
[1],
[1],
[-1]])
# 设置权值,3行1列,取值范围为-1~1
w = (np.random.random([3,1])-0.5)*2
print(w)
# 学习率
lr = 0.11
# 神经网络输出
out_rs = 0
def update():
global x_data,y_data,w,lr # 使用全局变量,当然也可以使用一个return返回
out_rs = np.sign(np.dot(x_data,w))
w_c = lr*(x_data.T.dot(y_data-out_rs))/int(x_data.shape[0])
w = w+w_c
for i in range(100):
update() # 权值更新
out_rs = np.sign(np.dot(x_data,w)) # 计算当前输出
print("epoch:",i)
print("w:",w)
if(out_rs ==y_data).all(): # 如果当前输出与实际输出相当,模型收敛,循环结束(.all是全部相等的意思)
print("#####################")
print("finished")
print("epoch:",i)
print("#####################")
break
# 正样本
x1 = [0,1]
y1 = [1,0]
# 负样本
x2 = [0,1]
y2 = [0,1]
# 计算分界线的斜率以及截距
k = -w[1]/w[2]
b = -w[0]/w[2]
print("k = ",k)
print("b = ",b)
# 绘图,scatter绘点、plot绘制直线
xdata = (0,5)
plt.figure()
plt.plot(xdata,xdata*k+b,'r')
plt.scatter(x1,y1,c='b')
plt.scatter(x2,y2,c='y')
plt.show()
结果:
单层感知机异或问题结果
解释:
单层感知机的输出为:y ( x 1 , x 2 ) = f ( ω 1 ∗ x 1 + ω 2 ∗ x 2 − θ ) y(x_1,x_2) = f(\omega_1*x1+\omega_2*x2 -\theta) y(x1,x2)=f(ω1∗x1+ω2∗x2−θ)
如果单层感知机可以解决异或问题,其XOR真值映射表为:
(X1,X2) y (1,1) 0 (1,0) 1 (0,0) 0 (0,1) 1 则满足以下方程组:
- ω 1 + ω 2 − θ < 0 \omega_1+\omega_2-\theta<0 ω1+ω2−θ<0–> θ > ω 1 + ω 2 \theta>\omega_1+\omega_2 θ>ω1+ω2
- ω 1 + 0 − θ ≥ 0 \omega_1+0-\theta \geq 0 ω1+0−θ≥0–> 0 ≥ θ − ω 1 0 \geq \theta-\omega_1 0≥θ−ω1
- 0 + 0 − θ < 0 0+0-\theta <0 0+0−θ<0–> θ > 0 \theta>0 θ>0
- 0 + ω 2 − θ ≥ 0 0+\omega_2-\theta \geq 0 0+ω2−θ≥0–> 0 ≥ θ − ω 2 0 \geq \theta-\omega_2 0≥θ−ω2
这个方程组自相矛盾,没有解,使用单层感知机来训练一个线性模型是没有办法来解决问题的
名侦探柯南——灰原哀