轻量化网络之知识蒸馏

网络轻量化的重要性：大势所趋：大模型体积越来越大，但实际工程中算力并没有增加，就需要提炼大模型中最有用部分，提高效率同时，增加推理速度。

轻量化方向：

知识蒸馏实现轻量化的优势：使用大模型后，可实现离线部署(无需联网，有时调用大模型API需联网，当网络延迟时，推理很不稳定)

知识蒸馏总体实现框架：图1、图2;

                                                                图1  

                                                                图2

实质是通过微调（训练）student网络权重，使Total loss 最小。温度T用来平滑预测分数，减少数据间的相对值，但保持总体预测分布曲线和T=1（不使用平滑时）曲线一致。