量化为int8; 8bit运算比32float快很多倍
非对称量化和对称量化一个差异在于有无零点。对称量化的零点就在于通常的零点。
对称量化
计算尺度时,x = max(x_f)取浮点数绝对值的最大值。左侧有一部分区域未用,影响精度。
激活函数量化需要使用数据集
权重量化一般是channel上的。
参考
https://github.com/inisis/brocolli 和 从0-1实现pytorch模型量化框架(二)代码篇_哔哩哔哩_bilibili
量化为int8; 8bit运算比32float快很多倍
非对称量化和对称量化一个差异在于有无零点。对称量化的零点就在于通常的零点。
计算尺度时,x = max(x_f)取浮点数绝对值的最大值。左侧有一部分区域未用,影响精度。
激活函数量化需要使用数据集
权重量化一般是channel上的。
https://github.com/inisis/brocolli 和 从0-1实现pytorch模型量化框架(二)代码篇_哔哩哔哩_bilibili