迁移学习
关注
分享
扫一扫
文章平均质量分 72
AI强仔
人工智能爱好者、机器人爱好者
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大模型的压缩/微调方法
大模型微调原创 2022-06-30 10:36:56 · 3164 阅读 · 0 评论 -
CLIP--zero-shot语言-图像对比学习模型
Contrastive Language-Image Pre-training，简称CLIP，即对比学习语言-图像预训练模型翻译 2022-09-18 11:28:27 · 4935 阅读 · 0 评论 -
Knowledge distillation-知识蒸馏
1. 简介 Knowledge distillation-知识蒸馏（暗知识提取）的概念，通过引入与教师网络（teacher network：复杂、但推理性能优越）相关的软目标（soft-target）作为total loss的一部分，以诱导学生网络（student network：精简、低复杂度）的训练，实现知识迁移（knowledge transfer）。 教师网络teacher：高准确率，但模型很大。 学生网络student：模型小，可以在有限资源下使用。 本文参考2019年《WELL-READ STU翻译 2021-03-07 13:12:15 · 949 阅读 · 0 评论