Datawhale训练营 深度学习笔记Task2

深度学习的梯度下降

先随便选择一个初始值，之后不断地更新，从而找到正确的w权重和b偏置的调整方向，之后一直调整直到得到一组最合适的w和b。

线性模型

将输入的数据乘上一个权重w再配上一个偏置b所得到的模型就是线性模型，比较简单。
针对线性模型还是有很多优化方法，比如分段线性模型：“由于线性模型的表达式过于简单，当x越大时y一定越大，不能很好的将x与y之间的复杂关系完美地表达出来，所以加上一个 Hard Sigmoid 函数以及不同的w和b之间的排列组合可以得到一个曲线函数图像，能更好地展示出x与y之间的复杂关系。”

模型形变

由于线性模型本身的局限，所以对其进行变换以追求模型中的非线性关系。
再结合激活函数和神经元，不断地修改w和b以达到对于非线性关系地更好描述以及减少预测的误差。