李宏毅课<一>:神经网络的模型压缩方法Network Compression
模型压缩是为了 可以用更少的参数来实现不错的效果。一方面是为了在延迟性、隐私性等等。网络剪枝把网路的一些冗杂的参数剪掉。有些参数并没有起到很大的效果。我们要做的事情把这些冗杂的参数找出来,并裁掉。90年代已经有人发表相关的论文,比如optimal brain damage等等优秀论文。那么网络剪枝是怎么做的呢,大概的流程是怎么样子的呢?(1)首先训练的一个大的network(2)评估每一个参数/神经元的重要程度那么怎么去评估这个重要性呢?最简单的方法是看他的绝对值。这个参数的绝对值越大,表示对
原创
2021-07-27 01:16:53 ·
974 阅读 ·
1 评论