Fine-tune的机制

我用一个通俗的场景例子说明一下Fine-tune的机制。
假设有一家公司，我们把它看作是一个AI模型，它曾经从事过机械制造/外贸/AR领域的业务，相当于这个AI模型在这3个领域被训练过，能熟悉得处理这些领域的问题。
这家公司内部有100个员工，我们看作是100个神经元，它们按照不同部门分成DNN里的不同层。每个员工脑袋里记忆的信息相当于每个神经元的权重，它们涵盖了机械制造/外贸/AR三个领域的特征。
如今，这家公司因为业务调整/改造，准备进军大飞机制造行业，具体业务是利用AR设备协助飞机内布线。由于这是一个垂直行业，公司决定在现有基础上对100个员工针对性的培训(Fine-tune)一下，发放了相关的学习资料(Fine-tune所需的训练数据)。
这次公司改造并不增加员工数量，仅仅是对现有员工的业务能力改造。每个员工的大脑容量是固定的，不能追加新知识，那么就必须“遗忘”一些以前学习过的知识，好装入新的领域知识，本质上就是对已有的权重做修正。
那么要遗忘哪些？当然是跟AR和大飞机制造无关的知识，比如先前已经掌握的外贸业务知识，机械制造领域的知识有部分被遗忘，还有一些跟布线有关的可以保留，员工大脑里腾出的空间就用来装新知识了。
整个过程中，预训练的知识同新领域知识的关联程度决定了它被改造的程度，关联性越大，保留的越多，反之越少。
这个被改造后的公司如果再去面对外贸业务就会很不适应了。
以上过程中，改造的基础是建立在新旧知识的差异性上，也就是说AI模型（公司本身）没有为这次改造设定特定的规则，完全是数据差异驱动的改造。
事实上，可以设定一些简单规则，来优化改造过程。比如Diffusion领域的DreamBooth，它有一个概念叫做Preservation。对应到刚才的例子，我们假设这次业务是针对一家外国大飞机制造公司的，那么我们希望保留外贸业务中的结算能力，外贸的其它知识可以抛弃，那么在Fine-tune的时候，特地把以前已经学会过的外贸结算知识也加入到这次的学习材料中，使得改造后的公司不至于错误得遗忘结算能力。
一般来讲，DNN中哪一层会被改造以及被改造的程度，就要看新旧知识在这些层面上的关联程度了。