高层API助你快速上手深度学习-课节二学习笔记

神经元：神经网络中的每个节点称为神经元，由加权和、非线性变换（激活函数）组成。

多层连接：大量的神经元按照不同的层次排布，形成多层的结构连接起来，即称为神经网络。

反向传播：因为loss是在最后一个节点后的输出得到的（前向传播得到的），最后一个节点会得到一个梯度，但是前面的节点是没有的，所有需要把这个梯队不断地向前回传来更新前面的节点参数（梯度）。

 深度学习开发流程万能公式 如下图：