Overview
TASK 1
Model Fine-tuning
用source data训练一个模型,然后用target data去微调。需要注意的是target data的过拟合。
处理方案:
Conservative training:
我们希望fine tuning后新的network和旧的network的output是差不多的
1. 如果我们的target data很少的话,为了防止过拟合,可以只调某几个layer的参数
2. 如果有足够的target data的话,fine tuning整个network会有更好的结果
Multitask Learning
当然,task a和task b要有一定的相关性
比如说:
TASK 2
Domain-adversarial training
我们希望feature extractor可以把domain的特性消除掉:
同时,还要保留digit的特性
label predictor要做的是把class的分类正确率做的越高越好,domain classifier要做的是正确的预测一个image属于哪一个domain,而Feature extractor要做的是同时improve label predictor的accuracy和minimize domain classifer的accuracy。
要怎么做到呢:
只需要在反向传播时计算backward path的时候加上一个gradient reversal layer就可以了(就是把domain classifier传给feature extractor的值乘上一个负号)
zero-shot learning
得出结果后,去attribute database中找一个最接近的class
f*和g*的loss可以这样定义
from: https://www.youtube.com/channel/UC2ggjtuuWvxrHHHiaDH1dlQ