- 博客(5)
- 收藏
- 关注
RSS订阅原创 AdaRound
在量化神经网络时，将每个浮点权值赋给其最近的定点值是主要的方法。在本文中，提出了一种更好的适应数据和任务损失的PTQ加权舍入机制AdaRound。AdaRound速度很快，不需要对网络进行微调，并且只使用少量未标记的数据。从理论上分析预训练神经网络的舍入问题。通过泰勒级数展开式逼近任务损失，将舍入任务化为二次型无约束二元优化问题，将其简化为分层局部损失，并建议使用软松弛来优化该损失。
2023-12-11 16:24:43
171
1
原创 QDrop 随即丢弃量化激活
在极低比特的量化中，精度始终无法提升上去。作者团队认为是现有的理论分析只考虑了权重量化，然而忽视了激活的量化。激活量化有利于PTQ在低比特的精度提升，并且作者发现部分的激活量化更有利。
2023-12-11 15:43:53
246
1
原创 BRECQ
通过对二阶误差的分析，提出了训练后量化框架BRECQ。在块粒度的量化重建达到了跨层依赖和一阶近似的良好平衡，特别是在2位权重量化中BRECQ兼容混合精度，降低了搜索成本。BRECQ在PTQ方面达到了最高的性能，并且是第一个与使用4位的QAT相当的。
2023-12-11 14:57:48
268
1
原创 Attention is all your need.transformer论文
在主流的序列转录模型（给你一个序列，你生成另外一个序列，比如一句中文生成一句英文）中，是基于循环或者卷积的神经网络，包括一个encoder和一个decoder（一个编码器和一个解码器）。在效果好的模型中，会在encoder和decoder之间使用注意力机制。本文提出了一个新的简单的架构Transformer，仅仅依赖于注意力机制。
2023-09-21 10:23:30
67
原创 浅浅学习量化
第一次写博客，之前无论在哪个论坛上我都只是抱着看看的想法，但是上了研究生以后想要写一些东西的欲望越来越强烈，于是在这个想法的推动下写一下自己所要研究的东西。如果有什么不对的地方，非常欢迎大家指正。因为还在学习中，所以学到什么就写什么。
2023-09-13 19:31:03
225
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人