- 博客(6)
- 收藏
- 关注
RSS订阅原创 “Datawhale X 李宏毅苹果书 AI夏令营”深度学习-第三章 深度学习基础3.7 批量归一化
引入批量归一化的背景： 如果误差表面崎岖则训练困难，批量归一化（BN）是 “把山铲平” 让训练变得容易的一种方法。 当固定学习率时，因参数对损失的斜率差别大（如在不同方向上斜率变化不同），可能难以得到好的训练结果，需要自适应学习率或更进阶的优化方法，也可直接改变误差表面使其更易训练。 产生不好训练的误差表面的原因及解决办法： 原因：在线性模型中，当输入特征不同维度的值范围差距很大时，可能导致误差表面在不同方向上的斜率不同，从而使训练变得困难。 解决办法：通过特征归一化，给特征里
2024-09-03 17:09:56
324
原创 “Datawhale X 李宏毅苹果书 AI夏令营”深度学习-第二章 实践方法论
模型偏差： 定义：模型过于简单，函数集合太小，无法包含使损失变低的函数，导致模型在训练集上表现不佳。 解决方法：增加模型的灵活性，如增加输入特征、使用深度学习、设更大的模型等。 优化问题： 问题表现：梯度下降等优化方法可能卡在局部最小值，无法找到使损失很低的参数，导致模型在训练集上的损失不够低。 判断方法：通过比较不同的模型来判断，先训练一些比较浅的、简单的模型，了解它们的损失情况，再与深的模型进行比较。如果深的模型灵活性大但损失无法比浅的模型压得更低，则代表优化有问题。
2024-09-03 17:05:12
208
原创 “Datawhale X 李宏毅苹果书 AI夏令营”深度学习-第三章 深度学习基础3.3456+实操
如何使用随机种子来确保实验结果的可重复性？图像分类任务的准确率应该达到多少才算合格？如何评估一个图像分类模型的性能？
2024-08-31 20:33:31
666
原创 “Datawhale X 李宏毅苹果书 AI夏令营”深度学习-第一章 机器学习基础1.2
线性模型的应用与局限 初始模型：一开始使用模型进行预测，在训练数据上损失为 480，在 2021 年未看过的数据上误差较大。 改进模型 1：考虑到数据的周期性，修改模型为，在训练数据上损失降低到 380，在未看过的数据上损失为 490。 改进模型 2：进一步考虑更多天的数据，如使用模型，在训练数据上损失为 330，在未看过的数据上损失为 460；使用模型，在训练数据上损失为 320，在未看过的数据上损失仍为 460，此时考虑天数可能已到极限。 线性模型的局限：线性模型过于简单，无法模拟
2024-08-31 20:21:08
404
原创 “Datawhale X 李宏毅苹果书 AI夏令营”深度学习-第一章 机器学习基础1.1
但其中存在一个问题，这个最优解（目前的），即损失最小值，可能并非全局最小值（global minima），而是局部最小值（local minima）。任取参数，计算其对于损失的微分，根据微分正负判断改变方向，根据微分大小与学习率（learning rate）——其为超参数（hyperparameter），是自己设定的，判断改变大小，反复，直至最好的解。线性回归不存在局部最小值的原因在于其损失函数是凸函数、损失空间没有弯曲，凸函数保证了所有的局部最小值也是全局最小值，即任何找到的最小值点都是该函数的最低点。
2024-08-24 00:32:16
231
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人