lumoumou`s blogs

由上式可以知道，不管多少层的一个线性的神经网络模型，都可以化简为一个仅包含一层的神经网络模型，这样的话，那些设计多个隐藏层的神经网络模型就没有意义了。所以在每一层的结尾都需要一个非线性函数，改进后的模型如下，其中。注意，在 Pytorch 中的一个基本单位是张量（Tensor），它可以用于动态创建计算图，其中包含数据（data）以及损失函数对于该张量的梯度（grad）。随机梯度下降（Stochastic Gradient Desce，SGD），多指 mini-batch 的随机梯度下降。

矩阵变换，实质上是一种空间变换的函数，上述变换过程就将输入 feature=8 的空间映射到输出 feature=1 的空间。同样，也可以实现从 feature=8 映射到输出 feature=x 的空间，其中 x 可以自行设置。如果每次梯度下降仅使用一个点的梯度，这样带来的好处是可以克服求导时的。上面过程都是线性变换的，需要在每一次映射之后引入一个非线性函数（比如 sigmod 函数），使得该神经网络可以去拟合一个非线性的变换。，这样训练出的模型性能可能会更好，但是训练时优化的时间会非常长。

卷积神经网络，Convolutinal Neural Network，CNN在之前两章的由线性模型构成的神经网络都是全连接神经网络。