模型蒸馏-distillation
文章平均质量分 96
本专栏探索蒸馏相关模型与技术,现主流蒸馏模型方法为logit的KD蒸馏、location的LD蒸馏feature的特征蒸馏,也有channel蒸馏、data数据蒸馏等。然论文开源项目较少,也不易解读。为此,本专栏将整理解读论文或开源代码或构建项目代码,以供读者参考。
tangjunjun-owen
从事人工智能行业,已从事工业检测行业、智慧交通行业、智慧城市行业,已有如下经验:
ARM/jetson部署、NVIDIA性能优化、道路感知2D、单目3D、点云3D、目标跟踪、lidar/radar/vison多传感融合、中间件ROS2开发、相机标定、工业2D检测/分类/分割、数据增强、attention、transformer、模型压缩加速
计算机技能:C++、Python、cuda、tensorrt、ros2
展开
-
基于yolov5模型的目标检测蒸馏(LD+KD)
最近在看有关蒸馏(Distillation)相关的内容,也就是需要大量的计算资源及庞大的数据集去支撑大模型,以蒸馏方式转为小模型,加速推理时间与降低模型内存,有利于部署。为此,我基于yolov5模型框架,修改代码,构建一个LD+KD的蒸馏模型,并公开源码于github,供读者学习。同时,我也正在构建多头蒸馏,后期将公开源码与文章解读。点击这里。原创 2023-09-06 16:18:29 · 1624 阅读 · 1 评论 -
PEFD-多投影蒸馏详细论文与代码解读(Improved Feature Distillation via Projector Ensemble)
昨日看到蒸馏一篇蒸馏论文PEFD文章,论文提到特征蒸馏方法,本着好奇与疑问,于是我读了,有一些启示。为此,我将记录于此,改论文重点提出投影projector帮助学生模型特征空间转换,说是缓解overvit教师,我个人认为有点借助projector作为缓冲(像辅助教师)。既然读了,我将写下论文主要内容,并结合论文代码深入解读。先前特征蒸馏方法主要聚焦在loss函数设计和distilled layers的links,很少研究会使用projector。原创 2023-08-11 13:46:23 · 370 阅读 · 0 评论