【Linear Probing | 线性探测】深度学习 线性层

【Linear Probing | 线性探测】深度学习 线性层

1. 作用

自监督模型评测方法
是测试预训练模型性能的一种方法,又称为linear probing evaluation

2. 原理

训练后,要评价模型的好坏,通过将最后的一层替换成线性层。
预训练模型的表征层的特征固定,参数固化后未发生改变,只通过监督数据去训练分类器(通常是Softmax分类器或者SVM分类器等等)。
只训练这个线性层就是linear probe。

3. 出处

何恺明MAE
https://zhuanlan.zhihu.com/p/432614068
在这里插入图片描述在这里插入图片描述

4. 参考

https://blog.csdn.net/LoseInVain/article/details/103870157
https://blog.csdn.net/qq_23981335/article/details/122576120

  • 13
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值