【剪枝/稀疏】概览与索引

模型压缩与加速

1.终端移植 key: 较全面的总结、包含auto，框架加速等

2.【简书】模型压缩总览 主要是2018年以前的综述，论文index

3. 模型压缩的一些论文  论文index（2015-2018）

4. 神经网络压缩综述 较全面，压缩各方面总结和论文序列index（年份，会议等；update2018/05）；神经网络模型压缩与加速 较弱，code

5. 深度学习模型压缩与优化加速 全面，论文+code，归类（update2018/07）；深度学习模型压缩方法综述

一些博主的专栏：

1. AI Flash 剪枝、蒸馏等

2. 来呀，快活呀 剪枝，蒸馏等压缩相关

GitHub索引：

awesome-ml-model-compression 、model-compression-and-acceleration-4-DNN

非结构稀疏

【NIPS 2016】Dynamic Network Surgery for Efficient DNNs

解读：对[Han 2015]等贪婪算法的优化？动态训练和修复。

index：论文笔记

【ICML 2017】Variational Dropout Sparsifies Deep Neural Networks

Github: 官方 variational-dropout-sparsifies-dnn (Theano)；

　　　　其他框架 tf-variational-dropout 、variational-dropout (TensorFlow) 、pytorch_ard

index：Variational Dropout 、变分推断（Variational Inference） 不错的基础知识

【ICLR 2018】Efficient Sparse-Winograd Convolutional Neural Networks

Github: sparse-winograd-cnn

index：

新浪blog《SparsityWinogradCNN》 概览

【CSDN】【略】权重剪枝与Winograd的结合

【搜狐】【详】大会 | 斯坦福ICLR2018录用论文：高效稀疏Winograd卷积神经网络

winograd：Winograd 方法快速计算卷积 、Winograd算法 原理 、Winograd，GEMM算法综述

【ICLR 2018】Learning Sparse Neural Networks through $L_0$ Regularization

Github: 官方 L0_regularization (pytorch) 

　　　　其他 l0.pytorch

index：

网络剪枝和共享 简要介绍了该论文

[Deep Learning] 正则化 各种正则化的方法；hard sigmoid函数 论文用到的一种函数；L1 L2 范数及稀疏

【ICLR 2019】SNIP: single shot network pruning based on connection sensitivity

Github: 非官方 snip

index：基于连接重要性的稀疏剪枝

 

转载于:https://www.cnblogs.com/zyrb/p/10774804.html