模型压缩
Macropodus
最后一次为理想而战。安知南山桂,绿叶垂芳根。何须浅碧深红色,自是花中第一流。
展开
-
模型压缩一-知识蒸馏
一、知识蒸馏简介知识蒸馏是模型压缩方法中的一个大类,是一种基于“教师-学生网络(teacher-student-network)思想”的训练方法, 其主要思想是拟合教师模型(teacher-model)的泛化性等(如输出概率、中间层特征、激活边界等),而不是一个简简单单的0-1类别标签。 这一技术的理论来自于2015年Hinton发表的一篇论文: Distilling the Knowledge in a Neural Network。知识蒸馏,英文名为Knowledge...原创 2020-10-11 20:35:28 · 4562 阅读 · 3 评论 -
模型压缩零-概述(ModelCompression)
模型压缩背景概述方法背景 二十一世纪的10年代,世界经济迅猛发展,新兴技术层出不穷,尤其是移动互联网技术,极大地改变了人类的生产生活方式。但是,十年一个轮回,2020年的今天,世界经济遭受重创,近乎停滞,各种冲突与危机让人眼花缭乱、目瞪口呆。 而几乎与移动互联网共同发展起来的是人工智能技术,最最最突出的是深度学习(DL)技术,也逐渐步入低潮。低潮期便会反思,寻找原因原理,探寻忽略的东西,微创新与优化等。深度学习技术迅猛发展、玩命狂飙的时候,算法模型推理消耗的资原创 2020-10-11 19:44:50 · 654 阅读 · 0 评论