卷积神经网络的组成

1. 一定包含卷积层
2. 后面会跟上一个BatchNormalize层（在batch的维度上进行归一化），可以加速网络的训练
3. 而后才是激活函数层，进行数据表征层的映射，实现非线性变换

这看起来类似于多项式拟合，只不过神经网络中可调的参数比较多，通过训练和函数组合的方式实现了对应的多项式，拟合出了对应的曲线

几层卷积神经网络的堆叠后，可以跟上一个全连接实现维度的映射

！！！当然，这只是一种神经网络的组成形式，他的设计有很大的自由空间

Transformer也是一个重要的分支，具有强大的特征理解和转换能力

Pytorch中的reshape、view有什么区别：

view 是张量类的一个方法，用于返回一个新的张量，该张量与原始张量共享相同的数据。这意味着在 view 返回的张量中的元素与原张量相同，它们在内存中是相同的。

reshape 是一个函数，其作用是返回一个新的张量，该张量具有与原始张量相同的数据，但具有新的形状。

`torch.stack` 与 `torch.cat`

`torch.stack` 与 `torch.cat` 有些相似，但有一个重要的区别。`torch.cat` 是沿着现有维度进行连接，而 `torch.stack` 是在一个新的维度上进行堆叠。因此，`torch.stack` 创建的张量的维度比输入张量的维度多一个。stack的dim可选范围包括[-dim-1, dim]，它会在所选dim上开辟一个新的维度，其他维度顺延~

Gumbel_softmax是什么

神经网络的训练前提是，组成函数均可导

但是，max函数是不可导的，因此我们需要采用一个分布来近似max函数，Gumbel_softmax就是实现这样的功能的，他尽可能的模仿了max函数的功能，并实现了可导性。