Neural Networks: Learning(Andrew ng ML)
1.Symmetry breaking
使用神经网络的时候,如果权重的初始化都是0,那么在反向传播过程中,从同一个神经元出发的边的权重都是相同的,所以这样下一层的每个神经元都是表达的相同的特征。
为了解决这个问题,采用随机初始化的方式。
2.减小网络大小
突然想起来一个见效网络大小的方法,忘了之前在哪里看到的了,通常是采用[n+m+n]的结构,n>m,这样的效果相当于做了一个pca,最后再加一个非线性,似乎能够小很多。
3.执行流程
- 随机初始化
- forward propagation
- calculate J
- backprop
- 使用numerical estimate评估偏导
- 使用bp去找到全局最优