知识蒸馏
文章平均质量分 86
Christo3
在心上用功,于事上磨练。
专注于图像算法,在人工智能期刊neurocomputing发表论文一篇,申请5篇国家发明专利,已授权3项。
持续学习,保持谦卑,保持空杯心态。
展开
-
知识蒸馏——Improving the Performance of Convolutional Neural Networks via Attention Transfer
文章目录1 原文阅读2 原文解读3 总结 1 原文阅读 动机 这里作者提到人工视觉系统中的注意力如何不同,我们能否利用注意力信息来提高卷积神经网络的性能?更具体地说,一个教师网络能否通过向另一个学生网络提供关于自己位置信息,即它集中注意力的位置,来提高另一个学生网络的表现。 接下来作者想进一步搞清楚如何去定义注意力 为此,在这里,我们将注意力看作是一组空间地图,它本质上试图编码网络最关注输入的哪个空间区域,以进行输出决策(例如,用于图像分类),此外,这些地图可以被定义为网络的各个层,以便它们能够捕原创 2021-09-27 16:38:41 · 587 阅读 · 9 评论 -
知识蒸馏——Distilling the Knowledge in a Neural Network
文章目录1 原文阅读2 原文解读3 总结 首先贴出论文的下载地址Distilling the Knowledge in a Neural Network 1 原文阅读 论文思路 这里作者首先举了一个例子,在MNIST数据集中神经网络的分类正确率非常高,同时还有一个很有意思的现象,2被分为3的概率和2被分为7的概率相差3个数量级,这在某种程度表征了数据之间有不用的相似性差异。但是由于被分错的概率都非常小,因此它们对交叉熵损失函数的影响都非常小。这里作者提到Caruana的一项工作,Caruana通过使用原创 2021-09-27 10:45:56 · 331 阅读 · 0 评论