【10大专题,2.8w字详解】:从张量开始到GPT的《动手学深度学习》要点笔记
卷积运算
-
标准卷积: 给定输入大小为
n
,卷积核大小为k
,输出大小计算为:
( n h − k h + 1 ) × ( n w − k w + 1 ) (n_h − k_h + 1) \times (n_w − k_w + 1) (nh−kh+1)×(nw−kw+1)
-
带填充的卷积: 输入大小为
n
,卷积核大小为k
,填充为p
,输出大小计算为:
( n h − k h + p h + 1 ) × ( n w − k w + p w + 1 ) (n_h − k_h + p_h + 1) \times (n_w − k_w + p_w + 1) (nh−kh+ph+1)×(nw−kw+pw+1)
-
带步幅的卷积: 输入大小为
n
,卷积核大小为k
,填充为p
,步幅为s
,输出大小计算为:
⌊ n h − k h + p h + s h s h ⌋ × ⌊ n w − k w + p w + s w s w ⌋ \left\lfloor\frac{n_h − k_h + p_h + s_h}{s_h}\right\rfloor \times \left\lfloor\frac{n_w − k_w + p_w + s_w}{s_w}\right\rfloor ⌊shnh−kh+ph+sh⌋×⌊swnw−kw+pw+sw⌋
在卷积神经网络中,神经元的感受野是指在前向传播过程中可能影响该神经元计算的所有输入元素。感受野可以通过网络深度的增加而相应地扩大。
注意力模块 - CBAM
- 通道注意力模块: 获取每个通道的重要性权重,通常通过全局平均池化和最大池化操作后的多层感知器(MLP)来实现。
- 空间注意力模块: 获取空间位置的重要性权重,通常通过改变特征图通道数的池化操作和大尺寸卷积操作来实现。