从RGB到多通道图像的迁移学习

从 RGB 到多通道图像的迁移学习

迁移学习–多通道使用 ResNet50 Backbone 和 Pyramid Pooling 进行语义分割

https://towardsdatascience.com/implementing-transfer-learning-from-rgb-to-multi-channel-imagery-f87924679166

从 RGB 到多通道
我们的探索提出了三种可以用来将在 3 个通道上训练的模型转换为更多通道的方法。这些方法跨越不同的复杂程度。我们将简要讨论这些方法–

• 第一种方法是简单地扩展权重维度以考虑额外的通道数量并随机初始化值。

• 第二种方法与第一种方法类似，除了不是用随机初始化的值填充值，我们用其他值的平均值填充它。我们在一篇科学论文（见下文）中发现了这种方法，该论文描述了这种方法比第一种方法效果更好。这是我们将在本文中探索的方法。

• 理论上，最终方法应该提供最佳性能。但是，这种方法在训练时间方面会花费更长的时间。该方法表明，先前讨论的方法将偏向于前三个通道，因为这是最初训练预训练模型的基础。这种方法建议我们创建第二个并行网络，在剩余通道上执行特征提取，然后将输出与原始预训练模型的输出连接起来。通过这种方式，第二个模型学习了特定于附加通道的表示，我们仍然利用原样使用预训练模型。这种方法将在另一篇文章中探讨。

Deeplabv3plus Pape