原文：《Distilling the Knowledge in a Neural Network》 目录 前期知识 集成模型（Ensemble Models） Bagging Boosting 缺点 知识蒸馏思想 算法部分 知识蒸馏方法 引入温度参数 T（Temperature） 组合两种 Loss 前期知识 集成模型（Ensemble Models） 通过结合了来自多个模型的决策，以提高最终模型的稳定性和准确性。 Bagging 从原始样本抽取训练集：每轮从原始样本集抽取 n 个样本，共进行 k 轮抽取，获得 k 个训练集 每次使用一个训练集获得一个模型，共得到 k 个模型 对 k 个模型的预测结果进行组合（例如投票法
本文介绍了知识蒸馏的概念，这是一种通过模仿预先训练好的大型网络（teacher）来训练小型网络（student）的技术，以实现模型的轻量化。文章探讨了集成模型的优缺点，并详细阐述了知识蒸馏的思想，包括引入温度参数T来丰富信息蒸馏，以及通过调整Loss Function实现student网络的学习。这种方法有助于解决深度学习模型在移动端应用的计算资源和效率问题。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
1188
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
