使用预训练模型的问题

如何认识预训练模型，是否预训练模型的网络结构要和自身的网络结构相同？

1. 预训练模型实际上就是用神经网络在其他数据集中训练出来的模型，是一个具备正常功能的模型。一般情况下使用预训练模型，就是将模型在一个数据集下训练出来模型，作为预训练模型来训练另一个模型，本质上类似与扩充数据集。
2. 预训练模型的网络结构不需要与自身的网络结构完全相同。
3. 但是，必须保证的是，从预训练模型中导入权重部分网络结构必须要和自身接受权重部分的网络结构完全相同。
   比如两个模型都包含同一个结构的主干网络，那么主干网络的部分，权重就可以分享，类似于HRNet。模型与预训练模型不需要完全相同，但必须有部分结构相同。

概况的说，就是模型与预训练模型直接传递权重的部分必须结构相同。