sigmoid的良性替代方案

sigmoid的良性替代方案

前言

项目落地的时候，一定需要算法的统筹，实现算法整套流程进行验证的同时，还需要考虑资源与算子的实现问题，总之算法真的又当爹又当妈，修改算法和找到替换方法永远是个困难的事。

之前遇到一个网络量化问题，很多算子使用amct量化方式不适合，于是自己搞了个量化方式，具体量化方式不太能说，但是解决里边问题时候遇到一个算法很有意思——平方根快速倒数算法，虽然没用上。

一、遇到的问题

是这样，参数量化8位需要输入输出参数以及权重参数在[-128,127]，但是每层的CONV+BN+RELU 后的输出参数相差会很大，量化到范围内精度会下降很多，因此考虑用sigmoid代替relu或者leakyrelu等激活函数，准确率下降了1%，还行能跑就行，还要什么自行车。但是坑爹的是，指数计算板端根本做不了，太消耗时间了，事情开始变得有趣了起来。

二、解决方案

最后考虑替换的方式：

用其他曲线相近的函数代替sigmoid带入训练过程中，目前选取了两组函数，暂定名字如下：

绘制图像如下：

可以看出， sigmoidRplace2加贴合sigmoid函数，带入训练变化会更小一点，另外一个曲线明显差很多，对于该趋近于0的值，并没有很好的趋近性，好好好，又说更贴合的实现起来比较复杂是吧，这样玩，又想损失我的精度，妥协，只能妥协，于是最终选择了sigmoidReplace1替代 ，精度下降就下降一点吧，资源不够嘛，把实现方式留在下边。

class sigmoid_replace(nn.Module):
  def __init__(self):
    super(sigmoid_replace, self).__init__()
  def forward(self, x, scaler):
    y = x/(1.0/scaler+abs(x))
    return 0.5+0.5*y

邀请

欢迎关注公众号及知乎栏目
公众号

知乎地址：
https://zhuanlan.zhihu.com/p/667466132