A Weight Value Initialization Method for Improving Learning Performance of the Backpropagation Algor

Shimodaira H. and Ltd N. M. C. A weight value initialization method for improving learning performance of the backpropagation algorithm in neural networks.

概

考虑
$$f(x)=\sigma (\sum _{i=1}^n{w}_i{x}_i+w_0)$$
的权重初始, 其中
$$\sigma (z)=\frac{1}{1+\exp (-z)}.$$

主要内容

Sigmoid是典型的两侧饱和的激活函数, 作者希望最开始的激活函数前的输入是在非饱和区域的,
从而能够避免梯度过小导致训练不易的问题. 不妨假设, 我们希望最后的输出落在$[ϵ,1-ϵ],0<ϵ<0.5$区域内.

则对应的激活函数前的输入$z$应当满足:
$$z\in [f^{-1}(ϵ),f^{-1}(1-ϵ)],$$
对应的是区域是
$$\begin{gathered} \sum _{i=1}^n{w}_i{x}_i+w_0=f^{-1}(ϵ) \\ \sum _{i=1}^n{w}_i{x}_i+w_0=f^{-1}(1-ϵ) \end{gathered}$$
超平面之间的区域. 此区域的宽度为
$$d=\frac{|f^{-1}(1-ϵ)-f^{-1}(ϵ)|}{({\sum }_{i=1}^n{w}_i^2{)}^{\frac{1}{2}}}.$$
显然
$${\bar{w}}^2:=\frac{1}{n}\sum _{i=1}^n{w}_i^2$$
决定了这个宽度, 越小对应的宽度越大, 我们可以通过此属性来调整所需的宽度(作者认为恰好覆盖输入的是最好的).

那么可以根据如下步骤构建权重:

1. 给定 ${\bar{w}}^2$ 和 参数 $\gamma$;
2. 为了保证权重满足
   $${\bar{w}}^2(1-\gamma )\le w_i^2\le {\bar{w}}^2(1+\gamma ),$$
   随机选择
   $$-\gamma \le {\alpha }_i\le \gamma ,i=1,2,\cdots ,n;$$
3. 令
   $$w_i=\bar{w}\sqrt{{\alpha }_i+1}.$$

注: 文中$w_0=-0.5{\sum }_{i=1}^n{w}_i$以保证非饱和区域的中心和输入的中心是一致的.