深度学习理论向应用的过渡课程【北京大学_TensorFlow2.0笔记】学习笔记（四）——损失函数，过拟合，优化器

2.4 损失函数

通常包括：MSE，Cross Entropy（与softmax结合），自定义函数

2.5 缓解过拟合

 

分界线思想：将网格的每一个坐标送入神经网络，输出值为（0，1），对应不同的分类。将所有输出值0.5的点连成线。

2.6 优化器

优化器：引导神经网络更新参数的工具。不同优化器在定义一阶、二阶动量公式上不同。

batch通常为2^n个数据

1、SGD：随机梯度下降（无动量）

定义方式：

w1.assign_sub( lr * grad[0] )

b1.assign_sub( lr * grad[1] )

2、SGDM

mt公式表示各时刻 梯度方向的指数滑动平均值

3、Adagrad——在SGD基础上加入二阶动量

4、RMSProp——在SGD基础上加入二阶动量

5、Adam——同时结合SGDM一阶动量+RMSProp二阶动量