深度学习——概述及反向传播BP算法

O、机器学习回顾

机器学习可以当做深度学习的分类器，深度学习用于提取特征，将特征向量喂给机器学习算法进行分类与回归。

一、神经网络来源——神经元

二、浅层神经网络前向传播

1、单个样本单隐藏层的神经网络前向传播

2、多个样本（训练集）上的单隐藏层的神经网络前向传播

三、几种激活函数及其导数

四、神经网络梯度下降法

五、深层神经网络（DNN）

前向传播求损失，反向传播求梯度。