《深度学习入门：基于Python的理论与实现》读书笔记：第2章感知机

本文链接：https://blog.csdn.net/weixin_44850744/article/details/122662436

第2章感知机

感知机是由美国学者Frank Rosenblatt在1957年提出来的。

2.1 感知机是什么

感知机接收多个输入信号，输出一个信号。

上图是一个接收两个输入信号的感知机的例子。是输入信号，y是输出信号，是权重。图中的称为“神经元”或者“节点”。输入信号被送往神经元时，会被分别乘以固定的权重。神经元会计算传送过来的信号的总和，只有当这个总和超过了某个界限值时，才会输出1。这也称为“神经元被激活”。这里将这个界限值称为阈值。

把上述内容用数学式来表示，就是下式：

感知机的多个输入信号都有各自固有的权重，这些权重发挥着控制各个信号的重要性的作用。也就是说，权重越大，对应该权重的信号的重要性就越高。

2.2 简单逻辑电路

2.2.1 与门

2.2.2 与非门和或门

这里决定感知机参数的并不是计算机，而是我们人。我们看着真值表这种“训练数据”，人工考虑了参数的值，而机器学习的课题就是将这个决定参数值的工作交由计算机自动进行。学习是确定合适的参数的过程，而人要做的是思考感知机的构造（模型），并把训练数据交给计算机。

相同构造的感知机，只需通过适当地调整参数的值，就可以像“变色龙演员”表演不同的角色一样，变身为与门、与非门、或门。

2.3 感知机的实现

2.3.1 简单的实现

def AND(x1, x2):
    w1, w2, theta = 0.5, 0.5, 0.7
    tmp = x1*w1 + x2*w2
    if tmp <= theta:
        return 0
    elif tmp > theta:
        return 1


print(AND(0, 0))
print(AND(1, 0))
print(AND(0, 1))
print(AND(1, 1))

这样我们就实现了与门。按照同样的步骤，也可以实现与非门和或门。

2.3.2 导入权重和偏置

此处，b称为偏置，w1和w2称为权重。感知机会计算输入信号和权重的乘积，然后加上偏置，如果这个值大于0则输出1，否则输出0.

import numpy as np

x = np.array([0, 1])
w = np.array([0.5, 0.5])
b = -0.7
c = np.sum(x*w) + b
print(c)

-0.19999999999999996

2.3.3 使用权重和偏置的实现

这里把命名为偏置b，但是请注意，偏置和权重的作用是不一样的。具体地说，是控制输入信号的重要性的参数，而偏置是调整神经元被激活的容易程度（输出信号为1的程度）的参数。

import numpy as np


def NAND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([-0.5, -0.5])  # 仅权重和偏置与AND不同
    b = 0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

def OR(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])  # 仅权重和偏置与AND不同
    b = -0.2
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

2.4 感知机的局限性

2.4.1 异或门

异或门也被称为逻辑异或电路。仅当x1或x2中的一方为1时，才会输出1（“异或”是拒绝其他的意思）。

实际上，用前面介绍的感知机是无法实现这个异或门的，为什么用感知机可以实现与门、或门，却无法实现异或门呢？

想要用一条直线将上图中的和分开，无论如何都做不到。事实上，用一条直线是无法将二者分开的。

2.4.2 线性和非线性

感知机的局限性就在于它只能表示由一条直线分割的空间，弯曲的曲线无法用感知机表示。另外，由曲线分割而成的空间称为非线性空间，由直线分割而成的空间称为线性空间。

2.5 多层感知机

2.5.1 已有门电路的组合

现在思考一下，要实现异或门的话，需要如何配置与门、与非门和或门呢？

上一节讲到的感知机的局限性，严格地讲，应该是“单层感知机无法表示异或门”或者“单层感知机无法分离非线性空间”。接下来，我们将看到通过组合感知机（叠加层）就可以实现异或门。

x1和x2表示输入信号，y表示输出信号。x1和x2是与非门和或门的输入，而与非门和或门的输出则是与门的输入。

2.5.2 异或门的实现

import numpy as np


def AND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1


def NAND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([-0.5, -0.5])  # 仅权重和偏置与AND不同
    b = 0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1


def OR(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])  # 仅权重和偏置与AND不同
    b = -0.2
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1


def XOR(x1, x2):
    s1 = NAND(x1, x2)
    s2 = OR(x1, x2)
    y = AND(s1, s2)
    return y


print(XOR(0, 0))
print(XOR(1, 0))
print(XOR(0, 1))
print(XOR(1, 1))