【动手学习深度学习】4 多层感知机(MLP)

目录

4.1 感知机

4.2 多层感知机

4.2.1 学习XOR

4.2.2 激活函数

4.2.3 单隐藏层

4.2.3.1 单分类

4.2.3.2 多分类

4.2.4 多隐藏层

4.2.5 多层感知机的实现

---

4.1 感知机

1、感知机是一个二分类模型，是最早的AI模型之一

2、它的求解算法等价于使用批量大小为1的梯度下降，通过不断更新、修复，规定收敛的步长，不能无限

3、感知机不能拟合XOR（异或）问题，因为只能产生线性分割面，导致的第一次AI寒冬

4.2 多层感知机

4.2.1 学习XOR

4.2.2 激活函数

激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。

常见的激活函数如下：

1、sigmoid

 2、Tanh

 3、ReLU

 

 这个激活函数是常用的，与线性相比，本质区别是规定了x<0时的输出值为0

4.2.3 单隐藏层

4.2.3.1 单分类

 输入输出是由问题决定的，不可调，隐藏层是可调的

4.2.3.2 多分类

 

 与softmax相比加了一层带非线性化的全连接层

多分类与单分类相比输出层的维度会有变化，以上图来看，k=3，m=5，n为输入特征项个数（未知）

4.2.4 多隐藏层

 

 逐渐压缩或者先扩充再压缩

4.2.5 多层感知机的实现

net = nn.Sequential(nn.Flatten(), 
                    nn.Linear(784, 256),
                    nn.ReLU(), # 激活函数
                    nn.Linear(256, 10))