李沐《机器学习》11.1迁移学习

迁移学习：在一个任务上学习一个模型，然后用这个训练好的模型去解决其他的相关的别的任务
途径：
1、训练好一个模型，然后把它做成一个特征抽取的模块。比如Word2Vec的很早之前的一个工作，在一个文本上训练一个单层神经网络，用的是contrastive learning，训练好后每个词就会得到一个特征，就可以用这个特征去干别的事情。再比如训练好的ResNet-50，可以把它用来对一个图片做特征，拿到这个特征后作为另外一个模型的输入，假设这个特征的效果很好了很适合机器来学习了，那么就替代掉了人工抽取特征的一些步骤。再比如I3D（做vedio的一些特征）….
2、在一个任务上训练一个模型，然后直接在另外一个任务上用它。在GPT系列中比较流行。
3、训练好一个模型，在新的任务上会对这个模型进行一点点的微调，使得能更好的到新的任务上去。

相关领域：
半监督学习。用有标签+无标签数据来使模型更好。在极端的情况下，可以做zero shot或者few shot learning，zero shot：给一个任务，但是不告诉这个任务是做什么的，比如告诉机器，给我分类一下图片，但是图片中的标号机器也没见过。few shot learning：给一个任务，就告诉几张样本，比如识别猫，但是就只给了几张猫的图片。multi-task learning：多任务学习，每个任务都有自己的数据，但是数据量都不是很足够，但是这些任务又比较相关，所以可以把这些数据放在一起，同时训练出多个任务，使每个任务能够从别的任务那里获益。

Fine-tuning in CV 微调在计算机视觉上的应用
利用别人已经标好的比你大很多倍的数据集训练好模型，然后将学到的东西迁移到自己的数据集中。有多种迁移的办法，最经常用到的是预训练模型。一个神经网络一般可以分为两块：一块是编码器，一块是解码器。编码器可以认为是一个特征提取器，输入的书原始的图片/像素，编码器就把这些原始的像素/图片转换成一个在语义空间里可以线性可分的特征（或者叫做浅表示/语义特征表示），而解码器做的事情比较简单，可以理解为就是一个简单的线性分类器