机器学习
文章平均质量分 66
哈喽天空
这个作者很懒,什么都没留下…
展开
-
知识蒸馏原理
大模型包含的知识(特征)比较冗余,知识蒸馏就是将有用的知识(特征)进行迁移、泛化,最后小模型的预测结果和大模型非常相似。软标签:给出了三个类别的概率,马和驴的概率较高,说明两者相似度高,马和汽车概率差异大,说明两者相似度低。无限大、无监督数据集:将这些数据交给教师网络,教师网络得出结果,然后教师会交学生如何得出相应的结果。通过硬标签对教师网络进行训练,得出软标签,然后用软标签训练学生网络,就可以得到更多的信息。老师网络大,将老师的知识迁移到学生(蒸馏),学生的网络结构小。原创 2022-12-29 19:36:40 · 628 阅读 · 1 评论 -
Matplotlib
三、一个坐标系画多条线原创 2022-06-06 19:10:39 · 156 阅读 · 0 评论