lecture6,Training Neural Networks, Part I

1,to be done

1,slides 21页中为什么$w$的梯度可以为全负值
（我认为只能为全正值，因为$x$为正，$wx+b$对$w$的gradient为$x$,而activation function对$wx+b$的gradient为正,由链式法则可知activation function对x的gradient应为正值.）

2,使用Xavier的原因

3，当模型太大时，cross validation的必要性

2,Notes

1,神经网络训练步骤：

1. 
   

2. preprocess data :将data normalize到 zero mean.有两种方法：第一种是减去使用每一个维度的数据的平均值，即subtract the mean image;第二种是减去每一种通道（r,g,b）的平均值，即subtract the per channel mean。

3. weight Initialization :对于 tanh 采用Xavier initialization（np.random.randn(fan_in,fan_out)/np.sqrt(fan_in)）对于relu采用改进版的Xavier initialization np.random.randn(fan_in,fan_out)/np.sqrt(fan_in/2)

4. batch normalization.Usually inserted after Fully Connected or Convolutional layers,
   and before nonlinearity.
5. Hyperparameter 的优化，从coarse到fine .
   

First stage: only a few epochs to get rough idea of what params work
Second stage: longer running time, finer search (repeat as necessary)