AI（007） - 笔记 - 感知机（Perceptron）和多层感知机（Multi-Layer Perceptron）

感知机（Perceptron）和多层感知机（Multi-Layer Perceptron）

AI-第五期-DarkRabbit

之前并未做过笔记，所以这篇文章是对以下内容回顾，对应：

• 第六周：（02）感知机
• 第六周：（03）多层感知机和反向传播
• 维基百科（en）“Backpropagation” 词条
• 《机器学习》（西瓜书）：第5章 神经网络 - 5.1 神经元模型
• 《机器学习》（西瓜书）：第5章 神经网络 - 5.2 感知机与多层网络
• 《机器学习》（西瓜书）：第5章 神经网络 - 5.3 误差逆传播算法

依然公式比较多，CSDN的app会显示不正常（乱码），请用其它任意方式浏览。

---

目录

---

1 感知机（Perceptron）

1.1 过程

inputs(bottom) -> weights -> weighted sum -> step function -> output(top)

$$y = f(W \cdot X + b)$$

step function（activation function）（激活函数）:

$$f(x) = \begin{cases} 1 & x > 0 \\ 0 & x \leq 0 \end{cases}$$

1.2 前馈计算

• weighted sum： $logit = \omega_0 x_0 + \omega_1 x_1 + \cdots + \omega_n x_n$
• 其中 $\omega_0 = b \text{(bias，偏置)} , \, x_0 = 1$
• 记 $\boldsymbol{\omega} = [ \omega_0, \omega_1, \cdots, \omega_n ], \boldsymbol{x} = [ x_0, x_1, x_2, \cdots, x_n ]$ 则 $logit = \boldsymbol{\omega} \cdot \boldsymbol{x}$
• step function： $output = f(logit), \quad f(x) = \begin{cases} 1 & x > 0 \\ 0 & x \leq 0 \end{cases}$

1.3 逻辑运算

感知器可以进行简单的逻辑运算（不包含异或）。

可以运用真值表进行运算。

• 逻辑与：

  • 真值表：

    $x_1$	$x_2$	output
    1	1	1
    1	0	0
    0	1	0
    0	0	0

  • 由真值表和 step function 得出的不等式方程组：

    ⎧⎩⎨⎪⎪⎪⎪1×ω1+1×ω2+b>01×ω1+0×ω2+b≤00×ω1+1×ω2+b≤00×ω1+0×ω2+b≤0⟹⎧⎩⎨⎪⎪⎪⎪b>−(