知识蒸馏
有关综述:
模型压缩的一种常用方法,不同于模型压缩中的剪枝和量化,知识蒸馏是通过构建一个轻量化的小模型,利用性能更好的大模型(教师)的监督信息,来训练这个小模型(学生),以期达到更好的性能和精度。也可用于迁移学习,和隐私保护等。
功能:
1.提升模型精度
2.降低模型时延,压缩网络参数
3.图片标签之间的域迁移
4.降低标注量
实例分割与语义分割
首先分割在传统与今天的区别
传统:基于灰度值的不连续和相似的性质
现在:基于CNN,理解图像中的每个像素
两个分割的区别:
语义分割为每个像素分配一个类别,但是同一类别之间的对象不会被区分。
实例分割只对特定的物体进行分类
目标检测output:边界框和类别
实例分割output:Mask和类别