CNN学习（二）

CNN训练与实例

（1）权重初始化
1. W=0，无法训练。因为W=0造成输入无差异
2. 高斯随机 W= 0.01*np.random.randn(D,H). 均值为0，方差为0.01
这样，对于很小的数，在隐层数较大时（>10）,经过激活函数后，函数输出均值几乎/方差为零，无法后向传播
3. W太大，激励过后，输出结果的均值/方差跳跃
4. np.random.randn(num_in,num_out)/sqrt(num_in) 希望每次前一层和后一层的方差尽量接近 ，/sqrt(num_in) 控制波动
但是该方法对ReLu函数不生效，对sigmoid和tanh有效
5. np.random.randn(num_in,num_out)/sqrt(num_in/2) 对ReLu函数生效
6. batch normalization 自动
（2）应用实例 nerual style
input(content & style )
A neural ALgorithm of artistic style 论文
Tensorflow源码