李宏毅深度学习课程笔记（一）

一、深度学习三个步骤

1、neural network
2、损失函数
3、优化器

二、各概念关系

机器学习分类：监督学习、半监督学习、无监督学习、强化学习、迁移学习等。
其中，监督学习包括回归和分类，分类又分为线性模型和非线性模型。非线性模型包括深度学习和其他（SVM、决策树、KNN等）。
三、损失函数与梯度更新
损失函数计算预测值与真实值的距离。
梯度更新则寻找使损失函数最小的w值。

如图所示，对于途中的W0点，计算其梯度结果为负，要使损失函数减少，应使W往增大的方向变化，因此梯度更新一般会在前面加一个负号。

使w最终的变化方向是增大的。