知识拓展
文章平均质量分 93
wangtao990503
这个作者很懒,什么都没留下…
展开
-
Cross-Layer Distillation with Semantic Calibration--带有语义校准的跨层蒸馏
知识蒸馏是一种通过利用教师模型的输出来增强学生模型泛化能力的技术。最近,基于特征图的变体探索了中间层中手动分配的师生对之间的知识转移,以进一步改进。然而,不同神经网络中的层语义可能不同,人工层关联中的语义失配将导致由于负正则化而导致性能退化。SemCKD),它通过注意力机制为每个学生层自动分配教师模型的适当目标层。原创 2022-12-06 11:26:47 · 1462 阅读 · 1 评论 -
压缩感知学习笔记
参考博文:形象易懂讲解算法II——压缩感知 - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/22445302一、什么是压缩感知(compressed sampling)?compressed sampling(后文称作CS)是一种针对于信号采样的技术,它通过一些方法,实现了“压缩的采样” ,准确说是在采样过程中完成了数据压缩的过程。首先从信号采样的知识入手:1. 我们知道,将模拟信号转换为计算机能够处理的数字信号,必然要经过采样的过程...转载 2022-04-21 11:09:41 · 810 阅读 · 0 评论