Datawhale的学习笔记
文章平均质量分 91
在这里主要分享本人在Datawhale里参加学习所创作的笔记
analywize
这个作者很懒,什么都没留下…
展开
-
Datawhale X 李宏毅苹果书AI夏令营 Task3 批量归一化与卷积神经网络
批量归一化和卷积神经网络笔记原创 2024-09-03 15:40:32 · 924 阅读 · 0 评论 -
Datawhale X 李宏毅苹果书AI夏令营——简单的笔记与心得总结
我们所关注的梯度为零的点:局部最小值,局部最大值,鞍点而:局部极小值:一段邻域内是让因变量值最小的自变量选取点鞍点:一段邻域内仍有可继续优化的点可选择。原创 2024-08-27 23:34:17 · 503 阅读 · 0 评论 -
Datawhale X 李宏毅苹果书AI夏令营——Task2自适应学习率,分类与回归
多元分类问题:类别数大于二(至少是三)的分类,A、B、C……,多分类世界中,某个物品可能是A、可能是B,也可能是C。此时,不能再简单地输出一个概率值来判断类别(因为类别一多,在截断误差后很可能出现概率相同的情况),而是需要通过得到每个类别的概率(这样可以体现概率的相对性,比如A相对B更多,B相对C更少),以此进行分类,在模型训练初期,使用预热来防止学习率过大导致的梯度爆炸,一定程度(不知道什么程度)后,逐渐减小学习率,确保能够稳定收敛?自适应学习率方法根据梯度大小自动调整学习率,解决固定学习率的问题。原创 2024-08-31 22:38:05 · 861 阅读 · 0 评论 -
Datawhale:2024.8.3 Transformer建模SMILES进行反应产率预测个人笔记——对Transformer的迷思
Transformer建模SMILES进行反应产率个人笔记原创 2024-08-03 22:53:33 · 853 阅读 · 0 评论