深度学习 | 感知机

一、感知机是什么

感知机是具有输入和输出的算法。给定一个输入后，将输出一个既定的值。

x1、x2是输入信号，y是输出信号，w1、w2是权重（w是weight的首字母）。○称为“神经元”或者“节点”。
输入信号被送往神经元时，会被分别乘以固定的权重（w1x1、w2x2）。神经元会计算传送过来的信号的总和，只有当这个总和超过了某个界限值时，才会输出1。这也称为“神经元被激活”。这里将这个界限值称为阈值，用符号θ表示。

二、简单逻辑电路（单层感知机）

2.1 与门

参数的选择方法如：(w1, w2, θ) = (0.5, 0.5, 0.7)

2.2 与非门

参数的选择方法如：(w1, w2, θ) = (−0.5, −0.5, −0.7)

2.3 或门

参数的选择方法如：(w1, w2, θ) = (1.0, 1.0,−0.5)

与门、与非门、或门是单层感知机。

三、多层感知机

异或门

使用单层感知机无法实现异或门，需要“叠加层”。使用2层感知机。

s1作为与非门的输出，把s2作为或门的输出

1）第0层的两个神经元接收输入信号，并将信号发送至第1层的神经元。
2）第1层的神经元将信号发送至第2层的神经元，第2层的神经元输出y。

四、权重和偏置

将阈值θ换成−b，因此感知机的表示：

b称为偏置，用于控制神经元被激活的容易程度。w1和w2称为权重。
感知机会计算输入信号和权重的乘积，然后加上偏置，如果这个值大于0则输出1，否则输出0。

五、线性和非线性

区分：能否用一条直线分割空间。

可以用一条直线将○和△分开，因此该空间为线性空间。

不能用一条直线将○和△分开（使用曲线可以分开），因此该空间为非线性空间。

六、小结

• 感知机是具有输入和输出的算法。给定一个输入后，将输出一个既定的值。
• 感知机将权重和偏置设定为参数。
• 使用感知机可以表示与门和或门等逻辑电路。
• 异或门无法通过单层感知机来表示。
• 使用2层感知机可以表示异或门。
• 单层感知机只能表示线性空间，而多层感知机可以表示非线性空间。
• 多层感知机（在理论上）可以表示计算机。