AI Flash

原创 ADMM深度模型稀疏化训练

基本原理 参考论文：https://arxiv.org/abs/1804.03294 GitHub：https://github.com/microsoft/nni/blob/master/nni/algorithms/compression/pytorch/pruning/admm_pruner.py 组合优化问题 基本的优化问题： 引入辅助变量、对偶变量，构造ADMM正则化约束： 交替方向优化求解 固定Z与U，通过SGD优化求解得到： 固定W，更新得到Z与U： ..