迁移学习
文章平均质量分 72
AI强仔
人工智能爱好者、机器人爱好者
展开
-
大模型的压缩/微调方法
大模型微调原创 2022-06-30 10:36:56 · 2680 阅读 · 0 评论 -
CLIP--zero-shot语言-图像对比学习模型
Contrastive Language-Image Pre-training,简称CLIP,即对比学习语言-图像预训练模型翻译 2022-09-18 11:28:27 · 3847 阅读 · 0 评论 -
Knowledge distillation-知识蒸馏
1. 简介Knowledge distillation-知识蒸馏(暗知识提取)的概念,通过引入与教师网络(teacher network:复杂、但推理性能优越)相关的软目标(soft-target)作为total loss的一部分,以诱导学生网络(student network:精简、低复杂度)的训练,实现知识迁移(knowledge transfer)。教师网络teacher:高准确率,但模型很大。学生网络student:模型小,可以在有限资源下使用。本文参考2019年《WELL-READ STU翻译 2021-03-07 13:12:15 · 694 阅读 · 0 评论