李飞飞计算机视觉-自用笔记（第二周）

4 神经网络

先导知识：
计算图框架：用图来表示任意函数，其中图的节点表示要执行的每一步计算

4.1 反向传播

反向传播本质：运用链式法则从后往前求微分，从最后一层损失函数开始，对于前面一层的变量求微分，在之后向前传播的过程中，每层都要乘上该层的本地微分
小结：

1. 神经网络通常非常庞大和复杂，将所有参数的梯度公式都写下来是不现实的，为了得到这些梯度，应该用反向传播算法
2. 反向传播算法：链式法则的递归应用
3. 计算图结构：可以看做正向和反向计算的API

4.2 神经网络

此处可参考
机器学习-吴恩达（第二周）
机器学习-吴恩达（第三周）
将神经元进行抽象的好处：便于采用高效的向量化代码进行运算

5 卷积神经网络

卷积神经网络与常规神经网络的构想基本一致，不同的是它需要训练卷积层，用来保留输入的空间结构

卷积和池化

卷积层和全连接层的主要差别：卷积层可以保全空间结构，其权重为卷积核，卷积核在整个图像上滑动，计算