1. 为什么要近似计算
在CNN与DNN的训练与预测过程中,激活函数的计算是必不可少的一部分,在我们的测算中,激活函数的计算大致耗时为0.1ms-1ms。但是由于在DNN和CNN的训练阶段,需要针对每条数据都计算激活函数,调用的次数非常多。因此有必要设计激活函数的近似计算方法,在尽可能确保精度的情况下,使得激活函数的运行速度加快。
2. CPU近似计算的算法
2.1 查表法
查表法的主要原理是在计算exp(x)时,通过将中间结果预先存储在数组中,在计算指定的值的exp时,通过查表的形式得到。其核心代码如下: