P122 神经网络压缩Network compression-purning

在 边缘设备上跑时，模型太大，跑不动
、purn: 删减

删减以后，正确率有影响会下降
为解决这个问题，进行微调，每次只减一点参数，重复多次。 使得最后修剪后的模型跟原来的模型差别不大。

判断某一个参数是否重要，是否要去掉

问题：进行过修剪后不规则的网络，pytorch难以实现，也无法进行矩阵计算，在GPU上无法加速。

解决办法：修剪掉的weight ，设为0 ，这样能够进行GPU计算。 但是 这样的话，net 并没有减少

weight purning 不一定是有效的方法
那么 neuron purning 呢

为什么不直接train 小的 network
小的networ 不好 train
大的好train

为什么大的好train?
类似大乐透，包牌能增加中奖率
大的network 可以看作包含很多小的network
越大越有可能找到合适的net

• 由大network 训练 然后 purn 得到一个小的network 。
• 如果以上面的小的netwok的形式重新训练，如果随机初始化参数，效果会比较差。 如果跟刚开始大的network 的初始化参数一致，会得到好的效果

大乐透假说是真是假，未来等待更多的验证。