MambaAD 实验部分讲解 4.3

4.3消融与分析

不同预训练主干和 Mamba 解码器深度的有效性比较

1. 比较了各种预训练的特征提取网络，重点关注流行的 ResNet 系列，如表 2 所示:

• 在保持一致的 Mamba 解码器深度时， ResNet18 表现最差，尽管它的模型大小和计算复杂度最小。
• ResNet50 的参数大约是计算量的 10 倍，计算量增加了 8 倍，并没有产生更好的结果。
• 尽管WideResNet在某些指标上超过了ResNet34，但它需要的参数和计算成本近10倍。
  总结：
  在考虑所有因素后，我们选择使用 ResNet34 作为主干特征提取器。

深度解释：

• [2，2，2，2]对应于ResNet18深度
• [3，4，6，3]对应于ResNet34深度
• [2，9，2，2]是其他方法的普遍选择
  总结：
  [3,4,6,3] 深度始终优于其他配置，选择 [3,4,6,3] 配置作为 Mamba 解码器的深度

2. 我们检查了不同 Mamba 解码器深度的影响，同时保持骨干网络不变。

不同扫描方法和方向的有效性和效率比较

在初始阶段：
比较了五种不同的扫描方法和 8 方向扫描，如表3中所示。
Sweep, Scan, Zorder, Zigzag, Hilbert: 这些列代表了不同的扫描方法，用于特征提取和异常检测。每个单元格中的数字代表在该方法下的性能得分。

结果：
其他四种方法都用8方向扫描产生的结果在索引1-4，尽管略低于图像级的希尔伯特扫描技术。
扫描方向的数量增加: 索引5-7，图像级指标逐渐提高，而像素级指标保持一致。

总结：
增加扫描方向的数量增强了SSM的全局建模能力，从而降低了图像级误分类的可能性。
在保持总共 8 个扫描方向的同时结合各种扫描技术会导致性能下降，如 Index 8-12。
选择了希尔伯特扫描方法，更好适用性，并有助于减少误报的可能性。

不同SoTA方法的效率比较

在表5中，
在模型大小和计算复杂度：将我们的模型与五种 SoTA 方法进行了比较：

• 与 UniAD 相比，MambaAD 的参数略有增加
• 但 MambaAD 在综合指标 mAD 上的表现优于它 4.3 ↑
• MambaAD 明显优于其他方法

跟DiAD比较：
MambaAD 实现了大约 2.0 ↑ 的改进，但 DiAD 的参数和失败 1/50

不同 LSS 设计的有效性比较

LSS 模块的设计，如表4中所示。

关注三个不同的设计方向：

• LSS 模块中 Mi 的数量
• 并行多核卷积模块的配置
• 深度卷积的内核大小选择

1. 我们比较了 Mi = 1 的场景：每个 LSS 模块都包含一个 HSS 块，+ 单独的深度卷积的不同内核大小，配置两侧是 1×1 卷积
2. 将没有残差连接的配置结果与具有相同设置的配置结果进行对比，Mi = 1
3. 最后，我们在其他一致的设置下检查 Mi = 2 和 Mi = 3 时的结果

结果：

• 当Mi = 1时，无论剩余连接的存在，结果都不如Mi = 2和Mi = 3的卷积块。

• 仅使用Mi = 1的深度卷积块，不同内核大小的并行深度卷积的比较表明，较小的核，如k = 1，显著降低了性能
  （k=3，5的性能比k=1，3，5的性能好，k=3，5，7的性能比k=1，3，5，7的性能好）

• 对比实验集中在更大的卷积核上：
  在没有残差连接的情况下，一些指标可能会超过残差连接的指标
  缺点：
  较长的训练时间 + 收敛困难

• 在 Mi = 2 和 Mi = 3 的配置中：

• • 使用 1x1 卷积增强的深度卷积块表现出卓越的性能。
• • k = 5 和 k = 7 的内核更适合提取局部特征并建立局部信息关联。

总结

• 选择了许多Mi = 2和Mi = 3的HSS块
• 我们使用核大小为k = 5和k = 7的并行深度卷积块
• 在前后由1 × 1卷积补充