模型加速

最近在学习加速方法。总结大概分3类

1. 数学方法
2. 权重优化
3. 模型结构

方法1和方法2都是对训练好的模型，进行优化处理。方法1一般不会改变模型的精度，方法2会对精度有影响，并且只能针对冗余权重。而第三种方法，一般都是修改模型，也就是训练时候，就是用优化的模型结构。说的再多，他们之间也有相通的比如可以把权重矩阵分解理解成数学方法。具体内溶，还在总结整理代码中。