1. 深度神经网络(DNN)模型与前向传播算法
1.1网络结构
1.2参数定义
1.3 前向传播算法
2. 深度神经网络(DNN)反向传播算法(BP)
2.1 DNN反向传播要解决的问题
2.2 DNN反向传播算法
梯度逐层向前传播
- 深度神经网络(DNN)损失函数和激活函数的选择
Sigmoid激活函数+MSE损失函数会梯度消失,使用交叉熵损失可以解决这个问题
或者使用ReLU函数 - 深度神经网络(DNN)的正则化
1. L1、L2正则,dropout,Early Stopping、数据增强的方法、Bagging
2. Normalization方法:Batch Normalization, Layer Normalization, Instance Normalization, Group Normalization