octave随机初始化

实现代码

 

rand（10，12）     随机生成一个10*11的矩阵，矩阵的值都在0-1之间。

*（2*INIT_EPSILON）  都会乘2epsilon

- INIT_EPSILON             再减去epsilon   

最后得到

需要注意的是：这里的epsilon和之前梯度检验里的epsilon没有任何关系

总结：为了训练神经网络

1.首先应该把权重随机初始化为一个接近0且

 2.进行反向传播

3.进行梯度检验

4.使用梯度下降或者其他高级优化算法来最小化代价函数J

这个关于参数θ的函数整个过程从为参数选取一个随机初始化的值开始，最后通过梯度下降或者其他高级优化算法就能得出θ的最优值。