【Fixed-Point Performance Analysis of Recurrent Neural Networks】论文笔记

最新推荐文章于 2020-01-11 10:18:32 发布
最新推荐文章于 2020-01-11 10:18:32 发布
阅读量213 收藏
点赞数
分类专栏： 网络量化 网络压缩 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liujianlin01/article/details/80904834
版权

[ICASSP’16]论文链接：https://arxiv.org/abs/1512.01322
递归神经网络在许多应用中表现出优异的性能; 然而，它们需要增加基于硬件或软件的实现的复杂性。通过最小化权重和信号的字长可以大大降低硬件复杂性。这项工作使用基于重新训练的量化方法分析递归神经网络的定点性能。研究了RNN中各层的量化灵敏度，并给出了整体定点优化结果，使得权重容量最小化，同时不牺牲性能。使用语言模型和音素识别示例。

地大大刘
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【10】Towards End-to-End Speech Recognitionwith Recurrent Neural Networks.pdf
08-26
of the deep bidirectional LSTM recurrent neural network architecture and the Connectionist Temporal Classification objective function. A modification to the objective function is introduced that ...
Fixed-Point Iteration 原理
平淡多好
03-14 8187
介绍fixed-point iteration原理，并利用MATLAB和Python代码实现
SE论文笔记（一）——ICASSP 2019的两篇论文
lengjiayi的博客
01-11 2770
AN ATTENTION-BASED NEURAL NETWORK APPROACH FOR SINGLE CHANNEL SPEECH ENHANCEMENT 本论文将Global Attention机制应用到语音增强问题中。 模型结构 这篇论文的整体结构如下： 这里的Attention就是使用的最基本的Global Attention，其中Encoder分为两种，Stacked和Expand...
不动点（Fixed Point）
weixin_34268843的博客
06-22 1492
本系列文章由 @yhl_leo 出品，转载请注明出处。 文章链接： http://blog.csdn.net/yhl_leo/article/details/51735818 在数学中，函数的不动点（Fixed point, or shortened to fixpoint, also knowns as invariant point），指的是在函数定义域...
2016-Session based Recommendations with Recurrent Neural Networks.pdf
06-11
在本文中，作者探讨了如何将循环神经网络（Recurrent Neural Networks, RNNs）应用于推荐系统领域，特别是针对仅基于短期会话数据（如小型体育用品网站）的推荐问题，而不是依赖于用户的长期历史数据（如Netflix）。...
Continuous-Time Recurrent Neural Networks
07-22
tinuous-time recurrent neural networksto dynamical time-variant systems. It proves that any finite time trajectory of a given dynam- ical time-variant system can be approximated by the internal state ...
2019-arXiv-Gated Graph Convolutional Recurrent Neural Networks-源
08-04
《2019-arXiv-Gated Graph Convolutional Recurrent Neural Networks-源》这篇文章由Luana Ruiz, Fernando Gama和Alejandro Ribeiro撰写，主要探讨了在处理图过程问题时，如何利用一种名为Gated Graph Convolutional...
【Pruning Filters for Efficient ConvNets】论文笔记
我是一只比菜鸟还菜的菜鸟！
06-07 6383
这篇论文也属于参数裁剪的一类，不同于一般的裁剪全连接层参数，这篇论文裁剪的是卷积核，而且把卷积核和特征图一起裁剪，统统丢掉。
【Pruning Convolutional Neural Networks for Resource Efficient Inference】论文笔记
我是一只比菜鸟还菜的菜鸟！
06-11 6192
论文链接：https://arxiv.org/abs/1611.06440 这篇论文也是修剪卷积核的。 论文中提出了一种用于修剪神经网络中的卷积核的新公式，以实现有效的推理。 论文中提出了一个基于泰勒展开的修剪新准则，用它去近似由于修剪网络参数引起的损失函数的变化。
【Learning both Weights and Connections for Efficient Neural Networks】论文笔记
我是一只比菜鸟还菜的菜鸟！
06-06 3695
追随Song Han大神的第一篇网络压缩论文（NIPS’15），论文链接：https://arxiv.org/abs/1506.02626 网络权重参数修剪的基础篇。 效果： 作者用了4个网络实验 Lenet-300-100, pruning reduces the number of weights by 12× Lenet-5, pruning reduces the number of we...
乘积量化（Product Quantization/PQ）笔记
我是一只比菜鸟还菜的菜鸟！
07-04 3690
论文链接：https://hal.inria.fr/file/index/docid/825085/filename/jegou_pq_postprint.pdf Product quantization（PQ），国内直译为乘积量化，这里的乘积是指笛卡尔积，意思是指把原来的向量空间分解为若干个低维向量空间的笛卡尔积，并利用Kmeans算法对分解得到的低维向量空间分别做量化。这样每个向量就能由多个...
【To prune, or not to prune: exploring the efficacy of pruning for model compression】论文笔记
我是一只比菜鸟还菜的菜鸟！
06-26 3685
[ICLR'18]论文链接：https://arxiv.org/abs/1710.01878 Tensorflow修剪库参考：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/model_pruning这篇文章的重点在于比较一个大疏模型和一个小密模型之间的模型精度和尺寸权衡上，试图仔细研究模型修剪作为模型压缩手段的有效性。文章还提出了一种简单的逐步修剪方法：需要最少的调整并且可以无缝地融入训练过程中。同样展示了其
【Binarized Neural Networks】论文笔记
我是一只比菜鸟还菜的菜鸟！
07-04 2387
[NIPS '16]论文地址：https://arxiv.org/pdf/1602.02830.pdf 代码地址：https://github.com/MatthieuCourbariaux/BinaryNet 这篇文章提出了一个新的网络：二值化网络(BNN)，在运行时使用二值权重和激活。在训练时，二值权重和激活用于计算参数梯度。即网络权重和激活参数只有1和-1两种。
【ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression】论文笔记
我是一只比菜鸟还菜的菜鸟！
06-19 1760
[ICCV’17]论文链接：https://arxiv.org/pdf/1707.06342.pdf GitHub网址：https://github.com/Roll920/ThiNet 项目资料网址：http://lamda.nju.edu.cn/luojh/project/ThiNet_ICCV17/ThiNet_ICCV17_CN.html 这篇论文提出了一个高效且统一的CNN框架ThiNet，实现网络模型在训练与预测阶段的同时加速与压缩。关注filter级别的剪枝，将filter剪枝操作定义为一个
【Quantized Convolutional Neural Networks for Mobile Devices】论文笔记
我是一只比菜鸟还菜的菜鸟！
07-03 1642
[CVPR '16]论文链接：https://arxiv.org/abs/1512.06473 代码链接：https://github.com/jiaxiang-wu/quantized-cnn 文章中使用的是PQ量化方法，同时提出了量化误差的校正方案。
【Soft Weight-Sharing for Neural Network Compression】论文笔记
我是一只比菜鸟还菜的菜鸟！
06-12 1632
论文链接：https://arxiv.org/pdf/1702.04008.pdf 这篇论文提出了一种新的量化和修剪权重参数的思路，用GMM进行量化和裁剪。
【Fast Algorithms for Convolutional Neural Networks】论文笔记
我是一只比菜鸟还菜的菜鸟！
04-08 1618
这篇文章基于Winograd开创的最小滤波算法，介绍了一类新的卷积神经网络快速算法。 针对卷积计算方式而言，与直接卷积相比，该算法可以将卷积层的算术复杂度降低4倍。 算法部分 对于最小滤波算法而言，使用r维滤波器计算m个输出(称之为F(m,r))需要m+r-1次乘法计算。 标准计算而言的话，需要m×r次乘法计算。 对于1-D卷积： 输入x=[1,2,3,4]，卷积核大小为3×1(r=3)，k=[...
【Designing Energy-Efficient Convolutional Neural Networks using Energy-Aware Pruning】论文笔记
我是一只比菜鸟还菜的菜鸟！
06-19 1542
[CVPR’17]论文链接：https://arxiv.org/abs/1611.05128 主要工作：使用能量感知修剪方法设计一个高效节能的卷积神经网络（题目直译，哈哈） 作者认为以往的裁剪方法，都没有考虑到模型的带宽以及能量的消耗，因此无法从能量利用率上最大限度的裁剪模型，因此提出了一种针对CNN的能量感知修剪算法，直接利用CNN的能量消耗来指导修剪过程。总的来说也是修剪策略中的一种。 ...
公式推导下Dual-Stage Attention-Based Recurrent Neural Network 的原理
最新发布
02-06
Dual-Stage Attention-Based Recurrent Neural Network (DS-ARNN) 是一种用于序列标注任务的深度学习模型。它由两个部分组成：第一部分是基于注意力机制的双向长短时记忆网络 (Bi-LSTM)，用于提取序列的高级特征；第...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值