通常选择较大的神经网络并采用正则化处理会比采用较小的神经网络效果好。
使用神经网络时的步骤:
网络结构:第一件要做的事是选择网络结构,即决定选择多少层以及决定每层分别有多少个单元。
第一层的单元数是我们训练集的特征数量。
最后一层的单元数是我们训练集的结果的类的数量。
如果隐藏层数大于1,确保每个隐藏层的单元个数相同,通常情况下隐藏层单元的个数越多越好。而我们真正要决定的是隐藏层的层数和每个中间层的单元数。隐藏层的层数选择通常从一层开始增加层数,为了更好的作选择,可以把数据分为训练集、交叉验证集和测试集,针对不同隐藏层层数的神经网络训练神经网络,然后选择交叉验证集代价最小的神经网络。
训练神经网络的步骤:
1、参数的随机初始化
2、利用正向传播方法计算所有的ℎθ(x)
3、编写计算代价函数J 的代码
4、利用反向传播方法计算所有的偏导数
5、利用数值检验方法检验这些偏导数
6、使用优化算法来最小化代价函数