学习笔记（10):Google开发专家带你学 AI：入门到实战（Keras/Tensorflow）（附源码）-神经网络的引擎：梯度优化

立即学习:https://edu.csdn.net/course/play/26109/323934?utm_source=blogtoedu

训练基础：梯度优化

识别，预测，分类任务

1：40min 输出值：多个，每个代表，eg分类，代表概率

理想函数

2：30min 损失函数：知道错了

量化 差异多大

得到损失值，指导优化

希望求出b,w

5:30min

损失函数=预测值-标签值=y-y_

6min：第二阶段，反向传播

6：30min

误差越来越小->更新模型参数 theta

梯度：8：50min左右  梯度更新

alpha：学习率

这里损失函数：最小二乘

SGD:随机梯度下降

theta 0，1：b/w

10：50min

一开始随机取，

11：10min 找不同路径，优化

优化算法:随机梯度

 

14：10min：

alpha学习率（超参数：是的模型优化速度变快，发现对后，增大，发现错，减小）：更新的时候的步长

 

算法：adam等，自动调整alpha,收敛得更快。

 

基础：梯度，损失算法

 

4个核心概念：

18：05min

1)

2个阶段：

前向传播：得到预测值

后...：得到梯度，不断优化模型

2)数据：输入+标签

3)模型：这里x,y

4)损失函数指导优化器

损失，有个优化方向，就是高度Z轴的值 ，

选择优化算法

用梯度值更新模型参数，损失值变小，反复前向/反向-》theta反映真实数据分布关系 训练成熟