深度学习入门python版小鱼书笔记1感知机

感知机

• 感知机是具有输入和输出的算法，给定一个输入后，将输出一个既定的值
• 感知机将权重和偏置设定为参数
• 使用感知机可以表示与门或门等逻辑电路
• 使用两层感知机可以表示异或门
• 单层感知机只能表示线性空间，而多层感知机可以表示非线性空间
• 多层感知机在理论上可以表示计算机

与门

def AND(x1,x2):
    w1,w2,theta = 0.5,0.5,0.7
    tmp = x1*w1 + x2*w2
    if tmp <= theta:
        return 0
    elif tmp > theta:
        return 1

def AND(x1,x2):
    x = np.array([x1,x2])
    w = np.array([0.5,0.5])
    b = -0.7 # theta命名为偏置b
    tmp = np.sum(w*x) +b
    if(tmp <= 0):
        return 0
    else:
        return 1

偏置和权重$w1,w2$的作用是不一样的，具体的说，$w1$和$w2$是控制输入信号的重要性参数， $而偏置是调整神经元被激活的容易程度$
(输出信号为1的程度)的参数

比如，若$b$为$-0.1$,则只要输入信号的加权综合超过$0.1$，神经元就会被激活，但是如果b为-20，则输入信号的加权必须超过$20$，神经元才会被激活。

像这样，偏置的值决定了神经元被激活的容易程度。另外，这里我们将$w1$和$w2$称为权重，将b称为偏置，但是根据上下文，有时也会将$b,w1,w2$这些参数统称为权重

实现与非门和或门

def AND(x1,x2):
    x = np.array([x1,x2])
    w = np.array([-0.5,-0.5])
    b = 0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1
        
def OR(x1,x2):
    x = np.array([x1,x2])
    w = np.array([0.5,0.5])
    b = 0.2
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

多层感知机实现异或门

推荐书目 《计算机系统要素，从零开始构建现代计算机》

def XOR(x1,x2): # 异或门是或门，与非门的与
	s1 = NAND(x1,x2)
	s2 = OR(x1, x2)
	y = AND(s1,s2)
	return y
	
def NAND(x1,x2):
	x = np.array([x1,x2])
	w = np.array([-0.5,-0.5])
	b = 0.7
	tmp = np.sum(w*x) + b
	if tmp <= 0:
		return 0
	else:
		return 1
def OR(x1,x2)：
	x = np.array([x1,x2])
	w = np.array([0.5,0.5)]
	b = -0.2
	tmp =np.sum(w*x) + b
	if tmp <= 0:
		return 0
	else:
		return 1