动手学深度学习-多层感知机-day1

依然是day1的打卡内容~~
这里是前两个知识点的学习笔记：

Day1：线性回归
Day1：Softmax与分类模型

多层感知机

1.多层感知机的基本知识
2.使用多层感知机图像分类的从零开始的实现
3.使用pytorch的简洁实现

多层感知机

多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换。多层感知机的层数和各隐藏层中隐藏单元个数都是超参数。以单隐藏层为例并沿用本节之前定义的符号，多层感知机按以下方式计算输出：

其中，ϕ 表示激活函数。

多层感知机的基本知识

深度学习主要关注多层模型。在这里，我们将以多层感知机（multilayer perceptron，MLP）为例，介绍多层神经网络的概念。

隐藏层

下图展示了一个多层感知机的神经网络图，它有一个隐藏层，该层中有5个隐藏单元。

表达公式

要注意相关变量的维度~

激活函数

上述问题的根源在于全连接层只是对数据做仿射变换（affine transformation），而多个仿射变换的叠加仍然是一个仿射变换。解决问题的一个方法是引入非线性变换，例如对隐藏变量使用按元素运算的非线性函数进行变换，然后再作为下一个全连接层的输入。这个非线性函数被称为激活函数（activation function）。
下面介绍几个常用的激活函数：

• ReLU函数
  
  
  下图是ReLU函数的导数图像：
  
• Sigmoid函数
  sigmoid函数可以将元素的值变换到0和1之间：
  
  
  根据链式法则，sigmoid函数的导数为：
  
  下面绘制了sigmoid函数的导数。当输入为0时，sigmoid函数的导数达到最大值0.25；当输入越偏离0时，sigmoid函数的导数越接近0。
  
• tanh函数
  tanh（双曲正切）函数可以将元素的值变换到-1和1之间：
  
  我们接着绘制tanh函数。当输入接近0时，tanh函数接近线性变换。虽然该函数的形状和sigmoid函数的形状很像，但tanh函数在坐标系的原点上对称。
  
  依据链式法则，tanh函数的导数为：
  
  下面绘制了tanh函数的导数。当输入为0时，tanh函数的导数达到最大值1；当输入越偏离0时，tanh函数的导数越接近0。
  

关于激活函数的选择

• ReLu函数是一个通用的激活函数，目前在大多数情况下使用。但是，ReLU函数只能在隐藏层中使用。
• 用于分类器时，sigmoid函数及其组合通常效果更好。由于梯度消失问题，有时要避免使用sigmoid和tanh函数。
• 在神经网络层数较多的时候，最好使用ReLu函数，ReLu函数比较简单计算量少，而sigmoid和tanh函数计算量大很多。
• 在选择激活函数的时候可以先选用ReLu函数如果效果不理想可以尝试其他激活函数。

练习题

终于全部答对啦~ 加油ヾ(◍°∇°◍)ﾉﾞ奥利给