ML
文章平均质量分 94
HellooWooorld
这个作者很懒,什么都没留下…
展开
-
实际使用中的神经网络压缩
引起这篇综述的缘由是论文《Neural Network Distiller: A Python Package ForDNN Compression Research》,这种实用工具会使我对这一充满希望的方向充值一点希望。除了Distiller 以外,Nvidia的TensorRT也是实用中的网络压缩工具,一并来说一说。DistillerDistiller用Python编写,旨在简单,可扩...原创 2019-12-19 15:12:39 · 379 阅读 · 0 评论 -
彩票理论
神经网络压缩是人工智能落地过程中重要的一个环节。关于网络压缩的理论之前就已经有很多,比如,模型蒸馏,剪枝,量化,低秩矩阵近似等。彩票理论算是个令人耳目一新的观点,值得看看。摘要:神经网络修剪技术可以将训练有素的网络的参数数量减少90%以上,减少存储需求并提高推理的计算性能,而不会影响准确性。 但是,当代的经验是,修剪产生的稀疏架构从一开始就很难训练,这同样会提高训练性能。发现,标准的修剪技...翻译 2019-12-13 14:44:57 · 2641 阅读 · 2 评论