吴恩达 深度学习系列--浅层神经网络-02

吴恩达 深度学习系列- -浅层神经网络

单隐层神经网络的前向传播、反向传播以及梯度更新

• 以下面的单隐层神经网络为例子，公式推导如下：
  公式推导参考借鉴了：浅层神经网络：反向传播公式推导
• 单个样本：
• m个样本：
  
• python伪代码：
  

不同的激活函数

• 不同激活函数对比：深度神经网络中常用的激活函数的优缺点分析

全0初始化问题

权重参数全部初始化为0，梯度下降算法将不会起到任何作用。无论我们隐藏层神经元有多少个，由于权重的对称性，我们的隐层的神经单元输出始终不变，出现隐藏神经元的对称性。我们希望不同神经元能够有不同的输出，这样的神经网络才有意义。
相关推理：神经网络权重为什么不能初始化为0

作业

作业链接：assignment3