李沐基于Pytorch的深度学习笔记（6）-线性回归和基础优化算法（附代码）

代码章节：李沐基于Pytorch的深度学习笔记（7）-线性回归的基本实现（附代码）_m0_57628341的博客-CSDN博客

1 基础优化算法

线性回归的前提，我们就需要一些优化方法。这里我们需要提前了解一些简单的优化方法。主要针对的还是模型的优化，特别是评估方法的一个优化。

1.1 梯度下降

对w0进行更新，然后我们选取我们的w0....

 其实李沐老师讲解的这个梯度下降并不是太容易理解。其实我们取用一个二维的函数。比如x^2这种函数。也是可以做梯度下降的。这种梯度下降的目的是逼近某个函数。

 一般没有怎么用过单独的梯度下降。所以一般我们是使用的是选取n个近似损失，然后来进行梯度计算。

 使用GPU计算，所以不能太小也不能太大。主要和算力有关。