深度学习中的核心知识

深度学习中的核心知识

前向运算

计算输出值的过程称为前向传播


前提：网络结构已知（两个方面：1. 每个层的构造 卷积/池化 2. 每个层的参数）
难点：1.f函数如何定义 2.每层的参数 （通过反向传播来计算）

反向传播（BP算法）

神经网络（参数模型）训练方法

• 解决神经网络优化问题
• 计算输出层结果与真实值之间的偏差来进行逐层调节参数（梯度下降）

神经网络参数训练是一个不断迭代的过程

参数更新多少？

• 参数优化问题（迭代）
  利用有标签的样本x和y
  求解 loss=（估计值 - 真实值）${}^2$ 的最小值
  对w求导
• 导数和学习率（梯度下降算法）

什么是梯度

• 函数在A点无数个变化方向中变化最快的那个方向
  

梯度下降算法

• 沿着导数下降的方法，进行参数更新
  
• 选择合适的步长、学习率
  
• 局部最优解
  

常见的深度学习模型

• 卷积神经网（CNN）
• 循环神经网（RNN）
• 自动编码机（Autoencoder）
• Restricted Boltzmann Machines(RBM, 受限玻尔兹曼机)
• 深度信念网络（DBN，Deep Belid Network）