一、深度学习三个步骤
1、neural network
2、损失函数
3、优化器
二、各概念关系
机器学习分类:监督学习、半监督学习、无监督学习、强化学习、迁移学习等。
其中,监督学习包括回归和分类,分类又分为线性模型和非线性模型。非线性模型包括深度学习和其他(SVM、决策树、KNN等)。
三、损失函数与梯度更新
损失函数计算预测值与真实值的距离。
梯度更新则寻找使损失函数最小的w值。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/835881f7e3820ce0e888b36bc9bac839.png)
如图所示,对于途中的W0点,计算其梯度结果为负,要使损失函数减少,应使W往增大的方向变化,因此梯度更新一般会在前面加一个负号。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/7e919b5d9e6b383688c054f62c6cb264.gif)
使w最终的变化方向是增大的。