吴恩达深度学习Course1-Week(4)

吴恩达深度学习Course1-Week(4)

---

一、什么是Deep Neural Network？

深度学习网络只不过是在Logistic regression的基础上，多了几个隐层，每层多了一些神经元，卷积神经网络无非就是再多了几个特殊的filter，多了一些有特定功能的层，但是核心都是跟Logistic Regression一样的。核心都包括

前向传播求损失函数， 反向传播求各阶导数， 梯度下降更新参数， 迭代更新求预测。

二、深度神经网络的符号规定Notation

三、深度神经网络的前向传播Forward Propagation

与logistic regression 非常类似，包括前向传播、激活函数两部分。注意，在向量化的方式中，由于deep nn 有许多层每一层的计算都是相互独立的，不可避免地需要用到for循环。

四、核对参数矩阵的维度

• W[l] : (n[l] , n[l-1])
• b[l] : (n[l] , 1)
  其中n[l]，表示每一层神经元的个数
  

五、深度神经网络的粗略解释

深度神经网络的前几层通常都是学习、识别一些低层次、简单的特征，后几层将简单的特征组合起来去探测一些更高层次、复杂的特征。

六、前向传播和反向传播小结

上图，以中间某一层为例说明该层的前向传播和反向传播的方法。

整个前向传播和反向传播可以用该流程图进行表示。

第l层的前向传播算法：

第l层的反向传播算法：

公式小结：

七、从别的博主那里摘抄的计算图