小技巧汇总

通用点

1. log sum exp()

很多情况下，线性空间下的乘法可以转变为对数空间的加法、还有在进行系数加权时，如果差异在数量级，加权系数不想太大，也可以用对数

对数曲线

幂函数曲线

在softmax计算公式如下：

这样如果h(x,y)很大会存在上溢出的情况，如果h(x,y)都是非常小的负数，但分母可能是0，造成inf，因而需要处理一下：

 

下面的处理就是被称为log sum exp 消除最大溢出,c一般是可以xi可以取到的最大值

在计算损失过程中，在存在对数与幂指数的情况下，需要额外注意不能出现对数底数靠近0，幂指数很大的情况。

参考：

http://www.360doc.com/content/21/0108/07/7673502_955784371.shtml

https://zhuanlan.zhihu.com/p/153535799

https://blog.csdn.net/u013066730/article/details/81949957