深度学习与反向传播

深度学习的基础：神经网络neural netwoork

1.感知机perceptron

(模仿神经细胞的二分类线性模型：input-树突 weight-细胞体 output-轴突

 学习过程更新权重，加权求和后与阈值比较进行判别分类

 局限：只限于线性可分，无法表示异或)

2.多层感知机MLP

 

（可含多个隐藏层的全连接模型  隐藏层的f激活函数非线性 常用ReLU、sigmoid、tanh函数）

若无激活函数 无论多少层隐藏层，输出都为输入的线性组合

注意梯度消失问题

3.卷积神经网络CNN

卷积层、池化层（压缩-去除冗余）

滑动窗口（外围填充、步长选择）

此处可参考https://www.jianshu.com/p/1ea2949c0056

4.循环神经网络RNN

充分利用序列的信息 （上一时刻的隐藏层也会影响当前时刻的隐藏层）

etc：双向循环神经网络（Bi-RNN）、长短期记忆网络（LSTM）

模型评估：

分类错误率--信息利用不充分，难以辨别模型好坏

均方误差---学习率过慢

交叉熵

优化：梯度下降--反向传播BP计算梯度

反向传播

运用链式法则，将输出当作输入反转神经网络迭代计算偏导，得到梯度

数学证明过程思路参见：https://www.bilibili.com/video/BV1Ht411g7Ef?p=14