Deep Learning的数学思考

本博文总结了deep learning中的一些数学思考！！！

1.残差和标准残差

（1）残差
残差是观测值和回归预测值之差。一般认为残差服从N(0,$sigma^2$)分布，$sigma$是标准差。
（2）标准残差
标准残差是残差与残差的标准差的比值：$r/(sigma)$,标准残差可以用来分析异常值（outlier），因为标准残差服从N（0，1）标准正太分布，可以认为，标准残差如果大于阈值（3 sigma原则），那么我们有很大概率认为（超过99%）它是一个outlier。

2.Huber Loss

Huber loss函数是一个平滑性比较好的，变化速度平缓的函数。一般可以用于描述残差r，也即可以将a设置为r。就可以得到下面的式子：

Huber loss函数用于描述残差r具有较好的性质，其一，当残差很大的时候，如果使用的是二次函数，由于二次函数在远离对称轴的值会被迅速放大，很容易造成一个outlier严重影响了整个loss的情况。而Huber loss函数可以减缓outlier对全局的影响，Huber loss和二次函数的比较如下图所示：

3.divergence

生成对抗网络中使用到的各种散度如上图所示，原始GAN优化G实际上是最小化JS散度，而LSGAN（least-square）优化G实际上是最小化$X^2 Pearson$散度

未完待续。。。

参考文献
1.https://en.wikipedia.org/wiki/Huber_loss