paper阅读：Sparse Structure Selection

最新推荐文章于 2022-10-18 00:25:04 发布
最新推荐文章于 2022-10-18 00:25:04 发布
阅读量242 收藏
点赞数
分类专栏： paper阅读 文章标签： 深度学习 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li6016265/article/details/111026031
版权

Data-Drive Sparse Structure Selection for Deep Neural Networks

https://openaccess.thecvf.com/content_ECCV_2018/papers/Zehao_Huang_Data-Driven_Sparse_Structure_ECCV_2018_paper.pdf

 

background

模型压缩balabala…

 

related work and the limit

传统的结构剪枝方法（给出了上古OBD OBS/ Deep compression/ network surgery / 神经元类敏感度剪切（16， 24， 29） / CP/ ThinNet /Slimming / Rethinking等），一般需要训练-剪枝等迭代操作，操作繁杂。因此文章提出一种基于稀疏训练的端到端的模型训练裁剪一体化工作（without bells and whistles）.

现有的一些稀疏训练的方法，如[25]实现非结构化的权重稀疏，不利于GPU等硬件的加速部署。[50, 1, 43]等采用了group Lasso的方式来实现结构化的稀疏训练。类似的工作还有Slimming使用subgradient descent 和 Rethinking 使用ISTA的方法来优化L1稀疏问题。

还提到了一些目前用于结构搜索的文章[2, 51, 32, 46，43,38]等。。。结构搜索和剪枝不分家。。。

 

novel points

1、提出了统一的CNN训练和修剪框架。 特别是，通过在CNN的某些结构（神经元（或通道），残差块，结构块）上引入比例因子和相应的稀疏正则化，将其公式化为联合稀疏正则化优化

最低0.47元/天 解锁文章
星月野
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Data-Driven Sparse Structure Selection for Deep Neural Networks 论文翻译
little豪斯
10-09 2894
摘要 深度卷积神经网络在各种任务中已经展现出其非同凡响的效果。然而，由于其很高的计算复杂度，将最先进的模型部署到现实应用中任然是很具有挑战性的。如何在没有大量实验和专家知识的情况下设计一个紧凑而有效的网络？在本文中，我们提出了一种简单有效的框架，以端对端的方式学习和修剪深度模型。在我们的框架中，首先引入了一种新的参数缩放因子来缩放特定结构的输出，如神经元，组或残差块。然后我们对这些因素加上稀疏正
神经网络压缩（6）：Exploring the Regularity of Sparse Structure in Convolutional Neural Networks
cookie_234的博客
06-29 2931
Exploring the Regularity of Sparse Structure in Convolutional Neural Networks方法介绍 目的： 探索稀疏性和预测精度之间的关系 能不能在稀疏性的规则中找到一个平衡点，这个点是如何提升硬件实现效率的 为了探索上面的问题，文章设置了几种不同的剪枝粒度等级，在前人的基础上进行对比实验，探索剪枝粒度和预测精度之间的关系
剪枝论文三（ Sparse Structure Selection）
蓝鲸鱼的博客
08-04 593
本文介绍一种剪枝方法（ Sparse Structure Selection）。 1. 核心思想 如图为论文中提出的网络框架。F表示残差函数。灰色的block、group和neuron表示它们是不活跃的，对应的比例因子为0，可以被修剪。 根据作者在论文中所描述的，改论文的贡献体现在以下2个方面: 作者提出了一个统一的cnn模型训练和剪枝框架。特别地，通过在cnn的某些结构上引入缩放因子和相应的稀疏正则化，将其转化为一个联合稀疏正则化优化问题。 作者利用改进的随机加速近端梯度(APG)方法，利用稀疏正则化
模型压缩 | 结构性剪枝Data-Driven Sparse Structure Selection 以及实际剪枝实现流程
HongYuSuiXinLang的博客
09-10 4665
前言 剪枝的文章文章很多，目前稀疏化的方法有主流的：group lasso; 控制网络结构收缩constrain the structure scale；对网络结构正则化处理regularizing multiple DNN structures。本文主要侧重于channel prune 乃至group/block等结构上稀疏化的方法。这里主要是基于图森的文章： Data-Driven Spar...
[2018ECCV F] Data-Driven Sparse Structure Selection for Deep Neural Networks
JY丫丫
05-21 585
(10 封私信 / 81 条消息) 如何评价图森科技连发的三篇关于深度模型压缩的文章？ - 知乎 https://www.zhihu.com/question/62068158 模型压缩 | 结构性剪枝Data-Driven Sparse Structure Selection 以及实际剪枝实现流程_网络_HongYuSuiXinLang的博客-CSDN博客 https://blog.csdn.n...
sparse-structure-selection
04-30
title = {Data-Driven Sparse Structure Selection for Deep Neural Networks}, journal = {ECCV}, year = {2018} } 执行 该代码是由改性实现支持增强。 （此版本的MXNet不支持cudnn7） ImageNet数据准备 下载...
LOW-DIMENSIONAL STRUCTURES: SPARSE CODING FOR NEURONAL ACTIVITY
02-22
sparse coding method, which can effectively reduce the dimension of the neuronal activity and express neural coding. Multichannel spike trains were recorded in rat prefrontal cortex during a work ...
SPLATNet: Sparse Lattice Networks for Point Cloud Processing
08-17
基于深度学习的激光雷达点云处理，2018年cvpr会议的文章
香农代码的matlab-sparse_lowRank_regression:sparse_lowRank_regression
05-26
sparse_lowRank_regression 论文代码： Wang, Xiaoqian, Jingwen Yan, Xiaohui Yao, Sungeun Kim, Kwangsik Nho, Shannon L. Risacher, Andrew J. Saykin, Li Shen, and Heng Huang. "Longitudinal Genotype-...
【论文阅读笔记】Data-Driven Sparse Structure Selection for Deep Neural Networks
时光机 °的博客
07-09 1337
论文地址：Data-Driven Sparse Structure Selection for Deep Neural Networks 代码地址：Pytorch，MXNet，Tensorflow 论文总结   本文是结构化裁剪模型的一种方法。其引入额外的尺度因子λ\lambdaλ来对不同维度的输出进行自适应训练（即Data-Driven的意思），通过对尺度因子进行稀疏化约束，得到可以安全裁剪的对象。   作者把本文方法认为是一次到底的，即不需要再retrain的，只裁剪对应尺度因子为0的结构。   尺度因
【论文阅读】【综述】网络的剪枝方法
麒麒哈尔的博客
03-22 4172
文章目录非结构化的Learning both Weights and Connections for Efficient Neural NetworksDEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING结构化的 本文记录一下对model pruning方法的学习，我只是挑了一些代表性的论文阅读一下，了解pruning的思路。 首先推荐一篇博客，闲话模型
APG(Accelerate Proximal Gradient)加速近端梯度算法 和 NAG(Nesterov accelerated gradient)优化器原理 (一)
最新发布
等待戈多的博客
10-18 4815
近期在阅读Data-Driven Sparse Structure Selection for Deep Neural Networks论文时，用到里面APG-NAG相关优化器的知识，原论文方法采用mxnet去实现的，在这里想迁移到pytorch中。因此手撕一下APG和NAG相关的知识。
模型加速：WAE-Learning a Wavelet-like Auto-Encoder to Accelerate Deep Neural Networks
人工智能技术学习与分享
12-26 2308
WAE(Wavelet-like Auto-Encoder) 是由来自中大、哈工大、桂电等多机构的多名研究人员合作提出的，发表于AAAI-2018(论文地址： https://arxiv.org/pdf/1712.07493.pdf github 创新点： 1. WAE借助小波分解得思想，将原图分解成两个低分辨率图像，以达到网络加速的目。 （PS：整体思路：下采样的方法达到网络加速，但
Miccai论文分享（一）Deep Multi-instance Networks with Sparse Label Assignment for Whole Mammogram Classific
无悔王冠的专栏
05-17 4005
多示例学习(multi-instance learning) 标签（空格分隔）： 论文总结 本科毕业答辩结束！这个系列主要分享一些Miccai这一医学影像分析顶级会议上论文～ 为什么讲这个？ 看到了miccai2017年的一篇挺有意思的论文，所以查阅了相关研究资料，分享给大家。 什么是多示例学习？ 这方面国内的大牛周志华是领域翘楚，大家有兴趣可以看看他之前的相关工作。下面的部分摘自...
Sparse Convolution neural networks
zhaishengfu的专栏
07-15 2649
论文阅读：CVPR2016 Paper list
热门推荐
一亩半分地
05-12 8万+
CVPR2016 accepted paper list
Sparse Autoencoder(1) -----Neural Networks
sh_c1991的专栏
05-25 610
参考自UFLDL。 概述 以监督学习为例，假设我们有训练样本集 ，那么神经网络算法能够提供一种复杂且非线性的假设模型 ，它具有参数 ，可以以此参数来拟合我们的数据。 从最简单的神经元说起，以下即是这个“神经元”的图示： 这个“神经元”是一个以 及截距 为输入值的运算单元，其输出为 ，其中函数 被称为“激活函数”。在这里，我们选用sigmoid函数作为
数据结构精讲：Sparse Table与线段树算法
这里我们主要讨论两种方法：Sparse Table算法和线段树算法，它们都是为了优化区间极值查询（Range Minimum/Maximum Query, RMQ）以及最近公共祖先（Lowest Common Ancestor, LCA）问题。 首先，让我们详细了解一下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值