![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
量化感知训练
文章平均质量分 83
机械系的AI小白
这个作者很懒,什么都没留下…
展开
-
量化感知训练 —— LSQ(二:代码解析)
至此,我们实现了伪量化算子,伪量化算子中利用伪量化方法进行参数伪量化,之后又定义了伪量化的类来实现伪量化方法。之后需要做的是,就是把原模型中的各个算子,替换成这里定义好的对应的伪量化算子,这样我们就可以实现一个插入LSQ伪量化节点的模型了,然后利用这个模型进行正常的训练,就可以进行LSQ量化感知训练了。在这个伪量化算子中,其中还有伪量化方法需要作为输入传入进行初始化的,而具体的伪量化,以及需要学习的量化参数的更新方法,则通过伪量化方法实现。对于其他的算子,比如nn.Linear,则使用类似的定义实现。原创 2024-03-10 16:05:13 · 860 阅读 · 4 评论 -
量化感知训练——LSQ(一:原理)
模型量化知识总结原创 2024-03-03 21:01:44 · 1793 阅读 · 0 评论