深度学习入门-第2章-感知机

张某人的胡思乱想

已于 2024-05-09 20:48:59 修改

阅读量967

点赞数 19

分类专栏：深度学习入门文章标签：深度学习人工智能

于 2024-02-15 20:22:19 首次发布

本文链接：https://blog.csdn.net/hb_zxl/article/details/136122964

版权

深度学习入门专栏收录该内容

6 篇文章 0 订阅

订阅专栏

感知机（perceptron）
严格地讲，本章中所说的感知机应该称为“人工神经元”或“朴素感知机”，但是因为很多基本的处理都是共通的，所以这里就简单地称为“感知机”。
2.1　感知机是什么
感知机接收多个输入信号，输出一个信号。
感知机的信号只有“流 / 不流”（1/0）两种取值。在本书中，0 对应“不传递信号”，1 对应“传递信号”。
感知机的多个输入信号都有各自固有的权重，这些权重发挥着控制各个信号的重要性的作用
权重相当于电流里所说的电阻。电阻是决定电流流动难度的参数，电阻越低，通过的电流就越大。而感知机的权重则是值越大，通过的信号就越大。

$y=\left\{\begin{matrix} 0 (w1x1+w2x2\leqslant \theta )\\1(w1x1+w2x2>\theta ) \end{matrix}\right.$

2.2　简单逻辑电路
2.2.1　与门

满足图2-2的条件的参数的选择方法有无数多个。

2.2.2　与非门和或门
只要把实现与门的参数值的符号取反，就可以实现与非门。
这里决定感知机参数的并不是计算机，而是我们人。我们看着真值表这种“训练数据”，人工考虑（想到）了参数的值。而机器学习的课题就是将这个决定参数值的工作交由计算机自动进行
学习是确定合适的参数的过程，而人要做的是思考感知机的构造（模型），并把训练数据交给计算机。

这里重要的一点是：与门、与非门、或门的感知机构造是一样的。
实际上，3 个门电路只有参数的值（权重和阈值）不同。也就是说，相同构造的感知机，只需通过适当地调整参数的值，就可以像“变色龙演员”表演不同的角色一样，变身为与门、与非门、或门
2.3　感知机的实现
2.3.1　简单的实现

import numpy as np

def AND(x1,x2):
    w1,w2,theta=0.5,0.5,0.7
    tmp = x1*w1 + x2*w2
    if tmp <= theta:
        return 0
    elif tmp > theta:
        return 1
    
if __name__ == '__main__':
    for xs in [(0, 0), (1, 0), (0, 1), (1, 1)]:
        y = AND(xs[0], xs[1])
        print(str(xs) + " -> " + str(y))

2.3.2　导入权重和偏置
首先把式（2.1）的 θ 换成 -b ，于是就可以用式（2.2）来表示感知机的行为。
此处，b 称为偏置，w1和 w2 称为权重

$y=\left\{\begin{matrix} 0 (b+w1x1+w2x2\leqslant 0)\\ 1 (b+w1x1+w2x2> 0) \end{matrix}\right.$

我们使用 NumPy，按式（2.2）的方式实现感知机。在这个过程中，我们用 Python 的解释器逐一确认结果。

Python 3.12.3 (tags/v3.12.3:f6650f9, Apr  9 2024, 14:05:25) [MSC v.1938 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np
>>> x=np.array([0,1])
>>> w=np.array([0.5,0.5])
>>> b=-0.7
>>> w*x
array([0. , 0.5])
>>> np.sum(w*x)
0.5
>>> np.sum(w*x)+b
-0.19999999999999996
>>>

2.3.3　使用权重和偏置的实现

import numpy as np

def NAND(x1,x2):
    x = np.array([x1,x2])
    w = np.array([-0.5,-0.5])
    b = 0.7
    tmp = np.sum(w*x) + b
    if tmp<=0:
        return 0
    else:
        return 1
    
if __name__ == '__main__':
    for xs in [(0, 0), (1, 0), (0, 1), (1, 1)]:
        y = NAND(xs[0], xs[1])
        print(str(xs) + " -> " + str(y))

import numpy as np

def OR(x1,x2):
    x = np.array([x1,x2])
    w = np.array([0.5,0.5])
    b = -0.2
    tmp = np.sum(w*x) + b
    if tmp<=0:
        return 0
    else:
        return 1
    
if __name__ == '__main__':
    for xs  in [(0,0),(1,0),(0,1),(1,1)]:
        y = OR(xs[0],xs[1])
        print(str(xs) + " -> " + str(y))

这里把 -θ 命名为偏置 b ，但是请注意，偏置和权重w1 、w2 的作用是不一样的。
具体地说，w1 和 w2 是控制输入信号的重要性的参数，而偏置是调整神经元被激活的容易程度（输出信号为 1 的程度）的参数。
比如，若 b 为 -0.1，则只要输入信号的加权总和超过 0.1，神经元就会被激活。但是如果 b 为 -20.0，则输入信号的加权总和必须超过 20.0，神经元才会被激活。
偏置的值决定了神经元被激活的容易程度.
偏置这个术语，有“穿木屐” 的效果，即在没有任何输入时（输入为 0 时），给输出穿上多高的木屐（加上多大的值）的意思。
实际上，在式 (2.2) 的b+w1x1+w2x2 的计算中，当输入 x1 和 x2 为 0 时，只输出偏置的值。
与门、与非门、或门是具有相同构造的感知机，区别只在于权重参数的值

2.4　感知机的局限性
2.4.1　异或门

仅当 x1 或 x2 中的一方为 1 时，才会输出 1（“异或”是拒绝其他的意思）
用前面介绍的感知机是无法实现这个异或门的.

或门：图形表示

异或门：图形表示

感知机的局限性就在于它只能表示由一条直线分割的空间.图 2-7 中的○和△无法用一条直线分开，但是如果将“直线”这个限制条件去掉，就可以实现了。

曲线分割而成的空间称为非线性空间，由直线分割而成的空间称为线性空间.

2.5　多层感知机
感知机的绝妙之处在于它可以“叠加层”（通过叠加层来表示异或门是本节的要点）
2.5.1　已有门电路的组合

真值表：

2.5.2　异或门的实现

from and_gate import AND
from or_gate import OR
from nand_gate import NAND

def XOR(x1,x2):
    s1 = NAND(x1,x2)
    s2 = OR(x1,x2)
    y = AND(s1,s2)
    return y

if __name__ == '__main__':
    for xs in [(0, 0), (1, 0), (0, 1), (1, 1)]:
        y = XOR(xs[0], xs[1])
        print(str(xs) + " -> " + str(y))

异或门是一种多层结构的神经网络。这里，将最左边的一列称为第 0 层，中间的一列称为第 1 层，最右边的一列称为第 2 层。
叠加了多层的感知机也称为多层感知机（multi-layered perceptron）
通过叠加层（加深层），感知机能进行更加灵活的表示。