机器学习task04深度学习介绍与反向传播机制

深度学习介绍

一是对深度学习的历程进行了介绍，二是介绍了深度学习的基本概念。

历史介绍

• 1958: Perceptron (linear model)
• 1969: Perceptron has limitation
• 1980s: Multi-layer perceptron
  • Do not have significant difference from DNN today
• 1986: Backpropagation
  • Usually more than 3 hidden layers is not helpful
• 1989: 1 hidden layer is “good enough”, why deep?
• 2006: RBM initialization (breakthrough)
• 2009: GPU
• 2011: Start to be popular in speech recognition
• 2012: win ILSVRC image competition
  感知机（Perceptron）非常像我们的逻辑回归（Logistics Regression）只不过是没有sigmoid激活函数。09年的GPU的发展是很关键的，使用GPU矩阵运算节省了很多的时间。

基本概念

1.深度学习的三个步骤

• Step1：神经网络（Neural network）
• Step2：模型评估（Goodness of function）
• Step3：选择最优函数（Pick best function）
  
  2，简单介绍了全连接神经网络
  
  3，借助梯度下降训练模型
  4，普遍性定理
  
  对于任何一个连续的函数，都可以用足够多的隐藏层来表示。

反向传播机制

介绍了BP的细节。
BP的目的：高效计算偏微分，然后计算了BP的细节：Forward Pass和Backward Pass。

-虽然工程中不需要亲自计算，但还是建议理解反向传播过程

Forward Pass

Backward Pass