吴恩达机器学习之神经网络篇——随机初始化

随机初始化

对于梯度下降/高级优化算法，必须初始化$\Theta$.

optTheta = fminunc(@costFunction, initialTheta, options)

实现fminunc，要设置initialTheta.

Consider gradient descent

设置 initialTheta = zeros(n,1)?

phenomenon: 每次更新后，两个隐藏单元依然以相同的函数作为输入来计算。¹
result: 只能学习一种特征。

Random initialization²

目的： 解决对称性问题
方法： 将 Θ i j ( l ) \Theta_{ij}^{(l)}