感知机
- 感知机是具有输入和输出的算法,给定一个输入后,将输出一个既定的值
- 感知机将权重和偏置设定为参数
- 使用感知机可以表示与门或门等逻辑电路
- 使用两层感知机可以表示异或门
- 单层感知机只能表示线性空间,而多层感知机可以表示非线性空间
- 多层感知机在理论上可以表示计算机
与门
def AND(x1,x2):
w1,w2,theta = 0.5,0.5,0.7
tmp = x1*w1 + x2*w2
if tmp <= theta:
return 0
elif tmp > theta:
return 1
def AND(x1,x2):
x = np.array([x1,x2])
w = np.array([0.5,0.5])
b = -0.7 # theta命名为偏置b
tmp = np.sum(w*x) +b
if(tmp <= 0):
return 0
else:
return 1
偏置和权重
w
1
,
w
2
w1,w2
w1,w2的作用是不一样的,具体的说,
w
1
w1
w1和
w
2
w2
w2是控制输入信号的重要性参数,
而
偏
置
是
调
整
神
经
元
被
激
活
的
容
易
程
度
\color{red}{而偏置是调整神经元被激活的容易程度}
而偏置是调整神经元被激活的容易程度
(输出信号为1的程度)的参数
比如,若 b b b为 − 0.1 -0.1 −0.1,则只要输入信号的加权综合超过 0.1 0.1 0.1,神经元就会被激活,但是如果b为-20,则输入信号的加权必须超过 20 20 20,神经元才会被激活。
像这样,偏置的值决定了神经元被激活的容易程度。另外,这里我们将 w 1 w1 w1和 w 2 w2 w2称为权重,将b称为偏置,但是根据上下文,有时也会将 b , w 1 , w 2 b,w1,w2 b,w1,w2这些参数统称为权重
实现与非门和或门
def AND(x1,x2):
x = np.array([x1,x2])
w = np.array([-0.5,-0.5])
b = 0.7
tmp = np.sum(w*x) + b
if tmp <= 0:
return 0
else:
return 1
def OR(x1,x2):
x = np.array([x1,x2])
w = np.array([0.5,0.5])
b = 0.2
tmp = np.sum(w*x) + b
if tmp <= 0:
return 0
else:
return 1
多层感知机实现异或门
推荐书目 《计算机系统要素,从零开始构建现代计算机》
def XOR(x1,x2): # 异或门是或门,与非门的与
s1 = NAND(x1,x2)
s2 = OR(x1, x2)
y = AND(s1,s2)
return y
def NAND(x1,x2):
x = np.array([x1,x2])
w = np.array([-0.5,-0.5])
b = 0.7
tmp = np.sum(w*x) + b
if tmp <= 0:
return 0
else:
return 1
def OR(x1,x2):
x = np.array([x1,x2])
w = np.array([0.5,0.5)]
b = -0.2
tmp =np.sum(w*x) + b
if tmp <= 0:
return 0
else:
return 1