基于知识蒸馏的差异性深度集成学习

基于知识蒸馏的差异性深度集成学习

期刊：浙江科技学院学报

时间：2021

研究院：浙江科技学院学报

关键词：知 识 蒸 馏 ；差 异 性 集 成 ；深 度 神 经 网 络

直 接 蒸 馏 集 成

一 方 面 ，由 于 集 成 性 能取决于成员模型 间 的 差 异 性，成 员 模 型 间 的 差 异 性 大 就 能 获 得 比 单 个 成 员 模 型 性 能 更 强 的 分 类 模 型［１７］；另一方面，蒸馏后的学生模型会减小成员模型间的差异性［１５］。 可 见，提 升 单 个 学 生 模 型 的 蒸 馏 效 果与提升直接蒸馏集成模型的泛 化 性 能 之 间 产 生 了 矛 盾［１３］。 对 此，我们提出一种基于差异性蒸馏集成 的 训 练 方 法 ，通过进一步增加模型间的预测差异性来实现更好的蒸馏模型集成效果。

差 异 性 蒸 馏 集 成

模型集成的性能主要取决于成员 模 型 之 间 的 差 异 性［１２］。 因 此，增大成员模型之间的差异性是提高 模型集成性能的有效方法。本文提出差异性蒸馏集成方法，保 持 单 个 模 型 蒸 馏 效 果 的 同 时，提 高 集 成 效 果 。 为 了 保 持 模 型 的 准 确 性 ，每个成员模型必须得到正确的输出。