感知机
前言
此为本人学习《深度学习入门》的学习笔记
一、感知机是什么
感知机接受多个输入信号,输出一个信号。感知机的信号只有“流/不流“(1/0)两种取值,0对应不传递信号,1对应传递信号。
![](https://i-blog.csdnimg.cn/blog_migrate/bce9a8f302e639803a31165f74593083.webp?x-image-process=image/format,png)
神经元会计算传送过来的信号的总和,只有当这个总和超过了某个界限值时,才会输出 1。这也称为“神经元被激活”。这里将这个界限值称为阈值,用符号 θ 表示。用数学公式表示就是
![](https://i-blog.csdnimg.cn/blog_migrate/43adaacf04f6efad7ef9dce1cabbfb4b.webp?x-image-process=image/format,png)
二、简单逻辑电路
1、与门(AND gate)
仅在两个输入均为1时输出1,其他时候则输出0
2、与非门(NAND gate)
当两个输入均为1时输出0,其他时候输出1
3、或门(OR gate)
当两个输入均为0时输出0,其他时候输出1
三、感知机的实现
1、简单的实现
利用python实现逻辑电路,先定义一个接受参数x1和x的AND参数
def AND(x1, x2): w1, w2, theta = 0.5, 0.5, 0.7 tmp = x1*w1 + x2*w2 if tmp <= theta: return 0 elif tmp > theta: return 1
在函数内初始化参数w1, w2, thete, 当输入的加权总和超过阈值时返回1,否则返回0.
2、导入权重和偏置并实现
把式子2.1的θ 换成-b,可改为式2.2表示感知机的行为
此处,b称为偏置,w1和w2称为权重。
def AND(x1, x2): x = np.array([x1, x2]) w = np.array([0.5, 0.5]) b = -0.7 tmp = np.sum(w*x) + b if tmp <= 0: return 0 else: return 1
3、实现与非门和或门
def NAND(x1, x2): x = np.array([x1, x2]) w = np.array([-0.5, -0.5]) # 仅权重和偏置与AND不同! b = 0.7 tmp = np.sum(w*x) + b if tmp <= 0: return 0 else: return 1 def OR(x1, x2): x = np.array([x1, x2]) w = np.array([0.5, 0.5]) # 仅权重和偏置与AND不同! b = -0.2 tmp = np.sum(w*x) + b if tmp <= 0: return 0 else: return 1
四、感知机的局限性
1、异或门(XOR gate)
异或门也称逻辑异或电路。仅当两个输入一方为1时,才会输出1.
实际上,前面介绍的感知机无法实现异或门。
满足异或门条件的式子
如下图,其无法用一条直线将o和△分开。
2、线性和非线性
感知机的局限性就在于它只能表示由一条直线分割的空间。上图这样弯曲的曲线无法用感知机表示。另外,由上图这样的曲线分割而成的空间称为非线性空间,由直线分割而成的空间称为线性空间。
五、多层感知机
感知机的绝妙之处在于它的叠加层
1、已有门电路的组合
2、将其组合实现异或门
3、异或门的实现
def XOR(x1, x2): s1 = NAND(x1, x2) s2 = OR(x1, x2) y = AND(s1, s2) return y
4、用感知机表达异或门
异或门是一种多层结构的神经网络。上图所示的叠加了多层的感知机也称多层感知机(multi-layered perceptron)
六 从与非门到计算机
感知机通过叠加层能够进行非线性的表示,理论上还可以表示计算机进行的处理
小结
- 感知机是具有输入和输出的算法。给定一个输入后,将输出一个既定的值。
- 感知机将权重和偏置设定为参数。
- 使用感知机可以表示与门和或门等逻辑电路。
- 异或门无法通过单层感知机来表示。
- 使用2层感知机可以表示异或门。
- 单层感知机只能表示线性空间,而多层感知机可以表示非线性空间。
- 多层感知机(在理论上)可以表示计算机。