- 博客(2)
- 收藏
- 关注
RSS订阅原创 一文解读模拟训练量化
"Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference"量化paper解读概述神经网络模型的量化是模型压缩的一种方式，在不更改模型结构的情况下，压缩模型的参数比特，减小模型大小，加速模型推理速度，在部署中常用的一种方式。常见的模型一般都是32bits的浮点参数，我们会使用16F，int8, int4或者2bit来压缩，16F本质上来说并不是严格意义上的量化，只不过是利用更
2021-08-14 16:59:05
1551
原创 Gan中的标签反转和域自适应中的梯度反转
Gan中的标签反转和域自适应中的梯度反转有个想法，为什么gan不用梯度反转呢，而是给定一个相反标签，其实梯度反转也是可以的，但是在同样的输出情况下，我们会发现直接给相反标签会更快地指导网络往相反方向学习，也就是梯度更大，这个可以根据公式推导出来。另外域自适应中对backbone的梯度反转也是为了提取更通用的特征，是为了找到两种分布间的共性，让网络着重学习这些。而不简简单单为了让两种分布得到同样的标签。...
2021-08-07 19:32:37
973
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人