ppt阅读笔记

1：对bn的改进

与我在 白皮书阅读笔记中记录的bn的改进方法一致

2：WAGE

这篇文章核心是量化了四个部分（W：weight，A：activation，G：gradient，E：eroor）。
着重分析下这篇文章是如何把bn层融入进其他部分的。
首先bn的一个作用是减少了对初始化的依赖。去掉了bn层，为了降低初始化对模型效果的影响，本文采取了一个叫msra的初始化方式，关于这个方法的论文见链接msra论文;msra 博客。简而言之，该初始化的核心是，使得该层输入的方差等于该层输出的方差。
即：$Var(y_{l-1})$ = $Var(y_l)$.在激活函数RELU的情况下，作者经过推导，发现要满足上述条件，必须满足$Var(W_l)=$