深度学习Day 5.2 Tips of Deep Learning

目录

1. 深度学习的三个步骤

1.1 define a set of function

1.2 goodness of function

1.3 pick the best function

2. 模型优化​

2.1 更新激活函数

2.2 Adaptive Learning Rate

2.3 Early Stopping

2.4 Regularization

 2.5 Drop out

---

1. 深度学习的三个步骤

1.1 define a set of function

1.2 goodness of function

1.3 pick the best function

注意：在training data上表现不够好，不是overfit，只有training data表现不好但是test data表现好，才叫overfit

2. 模型优化

2.1 更新激活函数

sigmod函数有个缺点是large input，small output，因此容易导致梯度消失。

-->使用RELU函数

-->使用max out

2.2 Adaptive Learning Rate

Adagrad

RMSProp

Momentum

Adam

2.3 Early Stopping

2.4 Regularization

在损失函数上加一个正则项

 2.5 Drop out