transfer learning

Overview

 

TASK 1

Model Fine-tuning

用source data训练一个模型,然后用target data去微调。需要注意的是target data的过拟合。

处理方案:

Conservative training

我们希望fine tuning后新的network和旧的network的output是差不多的

1. 如果我们的target data很少的话,为了防止过拟合,可以只调某几个layer的参数

2. 如果有足够的target data的话,fine tuning整个network会有更好的结果

Multitask Learning

当然,task a和task b要有一定的相关性

比如说:

 

TASK 2

Domain-adversarial training

我们希望feature extractor可以把domain的特性消除掉:

同时,还要保留digit的特性

label predictor要做的是把class的分类正确率做的越高越好,domain classifier要做的是正确的预测一个image属于哪一个domain,而Feature extractor要做的是同时improve label predictor的accuracy和minimize domain classifer的accuracy。

要怎么做到呢:

只需要在反向传播时计算backward path的时候加上一个gradient reversal layer就可以了(就是把domain classifier传给feature extractor的值乘上一个负号)

zero-shot learning

得出结果后,去attribute database中找一个最接近的class

 

f*和g*的loss可以这样定义

 

from: https://www.youtube.com/channel/UC2ggjtuuWvxrHHHiaDH1dlQ

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值