李沐-动手深度学习笔记整理
liuuu0
这个作者很懒,什么都没留下…
展开
-
【李沐-动手深度学习v2】笔记整理-08线性回归+基础优化算法
梯度是上升最快的方向,负梯度即为下降最快的方向。因为该函数表示训练损失,所以要找下降最快的方向来更新参数。通过计算b个样本的平均损失,代替总体然后进行优化,从而可在短时间内多迭代几次。学习率太小,步数多,计算梯度的次数多,太贵;浪费计算,例如如果所有样本都是相同的。包括数据流水线、模型、损失函数、小批量随机梯度下降优化器。批量太小:每次计算量太小,不适合并行来最大利用计算资源。小批量随机梯度下降是深度学习默认的求解方法。两个重要的超参数是:批量大小和学习率。学习率太大,容易在最优解附近振荡。原创 2023-03-21 20:36:31 · 121 阅读 · 0 评论 -
【李沐-动手深度学习v2】笔记整理-07自动求导
跟李沐动手深度学习v2-07自动求导原创 2023-02-10 14:19:17 · 370 阅读 · 0 评论 -
【李沐-动手深度学习v2】笔记整理-06矩阵计算
跟李沐动手深度学习v2-06矩阵计算原创 2023-02-10 12:18:38 · 124 阅读 · 0 评论 -
【李沐-动手深度学习v2】笔记整理-05线性代数
跟李沐动手深度学习v2-05线性代数原创 2023-02-10 10:58:52 · 100 阅读 · 0 评论 -
【李沐-动手深度学习v2】笔记整理-04数据操作+数据预处理
跟李沐动手深度学习v2原创 2023-02-10 00:07:15 · 94 阅读 · 0 评论