正向传播表达式:
反向传播表达式:
参数维度:
单例中 正向传播和反向传播中的参数维度分别是:
多例中 正向传播和反向传播中的参数维度分别是:
深层神经网络优于浅层神经网络程度原因:
1.如果隐藏层足够多,那么能够提取的特征就越丰富、越复杂,模型的准确率就会越高
2.深层网络还有另外一个优点,就是能够减少神经元个数,从而减少计算量。
尽管深度学习有着非常显著的优势,Andrew还是建议对实际问题进行建模时,尽量先选择层数少的神经网络模型,这也符合奥卡姆剃刀定律(Occam’s Razor)。对于比较复杂的问题,再使用较深的神经网络模型。
流程块图来解释神经网络正向传播和反向传播过程:
超参数与参数
神经网络中的参数就是我们熟悉的W[l]和b[l]。而超参数则是例如学习速率α,训练迭代次数N,神经网络层数L,各层神经元个数n[l],激活函数g(z)等。之所以叫做超参数的原因是它们决定了参数W[l]和b[l]的值。
如何设置最优的超参数是一个比较困难的、需要经验知识的问题。通常的做法是选择超参数一定范围内的值,分别代入神经网络进行训练,测试cost function随着迭代次数增加的变化,根据结果选择cost function最小时对应的超参数值。这类似于validation的方法。