UNDERSTANDING STRAIGHT-THROUGH ESTIMATOR IN TRAINING ACTIVATION QUANTIZED NEURAL NETS

最新推荐文章于 2025-03-10 14:38:34 发布
最新推荐文章于 2025-03-10 14:38:34 发布
阅读量1.2k 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JachinMa/article/details/104210619
版权
直通估计器(STE)在激活量化神经网络的训练中起到关键作用，解决了传统反向传播中激活函数导数近似为零导致的训练难题。文章介绍了STE的基本原理，通过定义简单的网络结构和损失函数，展示了STE如何通过可求导的μ函数导数替代激活函数的导数，使得网络可以进行训练。作者还探讨了不同STE变体的收敛性和性能，并通过实验验证了STE在不同输入分布和激活函数类型（如vanilla ReLU和clipped ReLU）下的效果，证明了其优化网络的有效性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

STE作为一种方法已经被提出很久了，也出现了很多它的变体。但它在本质上，是用了一个与当前函数无关的梯度来代替原有的梯度，为什么这个朝着这个替代品的梯度下降的方向优化网络有用？面对已经提出的许多STE的变体，我们应该如何选取？本文的主要内容就是解决以上两个问题。

首先，作者定义了一个简单的网络：
在这里插入图片描述
其中Z是一个取样自(0,1)高斯分布的输入数据，w和v是权重，σ是二元的的激活函数：
在这里插入图片描述
标签的定义如下：
在这里插入图片描述
损失函数的定义如下：
在这里插入图片描述
由于在这里插入图片描述
，作者这里使||w*||等于1.于是优化目标变为：

最低0.47元/天 解锁文章
JachinMa
关注
论文总结：UNDERSTANDING STRAIGHT-THROUGH ESTIMATOR IN TRAINING ACTIVATION QUANTIZED NEURAL NETS
gcf_uinque的博客
02-29 2254
论文地址：https://arxiv.org/pdf/1903.05662.pdf 主要内容 像ReLU函数这种输出可能为0的情况下，反向传播时梯度为0，权重无法更新，所以出现了STE：令输入梯度等于输出梯度的阈值函数，不管其本身导数。接着就涌现出各种改造的STE。这样就产生了两个问题： 粗梯度(经过STE修改的损失函数的梯度)不是原本损失函数的梯度，那么沿其负方向搜索为何能降低训练损失？ 如何...
pytorch实现straight-through estimator（STE）
m0_37400316的博客
05-08 8503
现在深度学习中一般我们学习的参数都是连续的，因为这样在反向传播的时候才可以对梯度进行更新。但是有的时候我们也会遇到参数是离>散的情况，这样就没有办法进行反向传播了，比如二值神经网络。本文中讲解了如何用pytorch对二值化的参数进行梯度更新的straight-through estimator算法。 Question： STE核心的思想就是我们的参数初始化的时候就是float这样的连续值，当...
Pytorch笔记：STE（Straight Through Estimator）解决forward pass中的non-differentiable操作，以torch.round()为例
weixin_47967519的博客
10-24 493
在图像、模型压缩算法中往往涉及量化的操作。即将无限、连续的变量映射到有限、离散的空间中，方便存储和进一步计算。最后一步round()操作在反向传播的过程中是病态的， 因为round()函数的微分除了在x.500为inf外处处为0（x为任意整数）
如何为不可导操作设计梯度？——聊聊 VQ-VAE 中的 Straight-Through Estimator（直通估计器）
最新发布
阿正的梦工坊
03-10 739
Straight-Through Estimator 是 VQ-VAE 成功的关键，它用一种简单而优雅的方式绕过了argmin不可导的问题。通过在前向传播和反向传播中使用不同的“代理”，它既实现了离散化的目标，又保证了梯度优化的可行性。
pytorch实现直通估计器（STE）
weixin_44615091的博客
04-03 1713
在此就不对原理做过多阐述了，原文中写的非常好，简而言之就是反向传播过程中应用Htanh函数的梯度结果替换前向传播过程中使用torch.sign的恒为零的梯度。我对链接作者写的代码稍有疑惑，
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【CVPR2019】论文完整列表一
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 9140
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
PyTorch梯度直通反传
新缸中之脑
06-20 1199
假设我们想使用以下函数将层的激活二值化：此函数将为每个大于 0 的值返回 1，否则将返回 0。如前所述，此函数的问题在于其梯度为零。为了解决这个问题，我们将在反向传递中使用直通估计器。直通估计器顾名思义就是它估计函数的梯度。具体来说，它忽略阈值函数的导数，并将传入的梯度传递，就好像该函数是恒等函数一样。下图有助于更好地解释它：你可以看到在反向传递中如何绕过阈值函数。就是这样，这就是直通式估计器的作用。它使阈值函数的梯度看起来像恒等函数的梯度。
深度学习算法优化系列十二 | 旷视科技 DoReFa-Net
I good vegetable a!
02-21 1537
摘要 继BNN和XorNet之后，这篇论文提出了DoReFa-Net，它是一种可以使用低位宽参数梯度来训练低位宽权重和激活值的卷积神经网络的方法。特别地，在反向传播传播阶段，参数梯度可以在传递到下一层卷积层之前被随机量化到低位宽。由于前向/反向阶段卷积都是在对低位宽权重和激活值/梯度上操作的，这样DoReFa-Net可以使用低位宽卷积核来加速训练和推理。并且，低位卷积可以在CPU，FPGA，AS...
VQ-VAE量子化自编码器介绍
Answer3664的博客
05-02 1890
VQ-VAE中一个很大的创新就是对离散的值进行求梯度，称为Straight-Through Estimator。 具体参考：https://spaces.ac.cn/archives/6760
DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients
安静到无声
08-08 862
2. 方法 2.2 直通估计器 由低位宽kkk表示的实数集只有一个小的数集2k2^k2k。然而，从数学上讲，任何取值范围较小的连续函数相对于其输入都必然具有零梯度。我们采用“直通估计器”(STE)方法 (Hinton et al., 2012b; Bengio et al., 2013) 来规避该问题。可以将 STE视为具有任意前向和后向操作的运算符。 一个简单的例子是为概率为p/in[0,1]p /in [0, 1]p/in[0,1]的Bernoulli抽样定义的STE ...
模型压缩明珠：二值化网络
ZOMI酱
01-14 2305
相比于全精度（FP32）表示的神经网络，二值化可以用XNOR（逻辑电路中的异或非门）或者是简单的计数操作（pop Count），极其简单的组合来代替FP32的乘和累加等复杂的运算来实现卷积操作，从而节省了大量的内存和计算，大大方便了模型在资源受限设备上的部署。
ICLR 2019论文解读：量化神经网络
喜欢打酱油的老鸟
06-18 3038
https://www.toutiao.com/a6701879235964830212/ 今年五月举办 ICLR 2019 会议共接收论文 502 篇，本文将解读其中两篇有关量化神经网络的研究。 UNDERSTANDING STRAIGHT-THROUGH ESTIMATOR IN TRAINING ACTIVATION QUANTIZED NEURAL NETS https:/...
【ARXIV2105】Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks
OUC的搬砖日常
01-18 1376
论文：https://arxiv.org/abs/2105.02358 代码：https://github.com/MenghaoGuo/EANet B站视频：https://www.bilibili.com/video/BV1ug411M7kL 大部分内容来自论文作者 国孟昊 的B站视频，讲解的非常细致，强烈推荐 典型的 self-attention 计算方法如下图所示。 QQQ 和 KKK 相乘，使用 softmax 归一化，然一和VVV相乘，然后得到输出的特征，这个大家应该都相当熟悉了。 在实.
细粒度结构化稀疏神经网络：第二节
weixin_46283249的博客
07-14 1220
本文的主要贡献总结为三方面： (1) 据我们所知，这是第一次系统研究从头开始训练 N:M 结构化稀疏神经网络而没有性能下降。 N:M 结构化稀疏性是模型加速中缺少但有希望的成分，它可以作为各种压缩方法的有价值的补充。 (2) 我们扩展 STE 来解决训练 N:M 稀疏神经网络的问题。为了减轻 STE 在稀疏网络上的局限性，我们提出了一个稀疏细化术语来提高从头开始训练稀疏神经网络的有效性。 (3) 我们对 N:M 细粒度稀疏网络的各种任务进行了广泛的实验，并为 N:M 稀疏网络训练提供基准，以促进相关软
Binary neural networks：A survey （二值化网络最新综述）
EP的别三日
12-04 2479
神经网络二值化能够最大程度地降低模型的存储占用和模型的计算量，将神经网络中原本 32 位浮点数参数量化至 1 位定点数，降低了模型部署的存储资源消耗，同时极大加速了神经网络的推断过程。但二值化会不可避免地导致严重的信息损失，其量化函数不连续性也给深度网络的优化带来了困难。 近年来许多算法被提出致力于解决上述问题，并取得了令人满意的进展。在本文中，我们对这些方法进行了全面的总结和概括，主要分为直接量化的朴素二值化方法，以及使用最小化量化误差、改善网络损失函数和减小梯度误差等技术的改进二值化方法。
最新组合式模型量化方法，实现FPGA最高硬件利用率，准确率-推理速度达到SOTA...
AI科技大本营
01-18 2215
作者 | 王言治来源 |AI科技大本营（ID:rgznai100）深度神经网络（DNN）在图像、语言处理等领域获得了巨大成功，而如何将这些网络部署在ASIC、FPGA等嵌入式设备仍是热...
straight-through estimator
03-16
直通估计器（straight-through estimator）是一种在神经网络中用于处理离散变量的技术。它通过将离散变量的梯度设置为1来近似离散变量的梯度，从而使得神经网络可以处理离散变量。这种技术通常用于生成模型中，例如生成对抗网络（GAN）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值