- 博客(8)
- 收藏
- 关注
RSS订阅原创 Datawhale X 李宏毅苹果书 AI夏令营 入门班选修3
作业运行结果：分类当只有两个类的时候，sigmoid 和 softmax 是等价的。最大化似然（maximize likelihood）Pytorch在做softmax时，会自动加入cross-entrophy.MSE会卡住。
2024-09-03 19:47:32
78
原创 Datawhale X 李宏毅苹果书 AI夏令营 进阶班笔记3/3.1/3.2 选修
因为输入不一样的关系，所以就算是两个神经元共用参数，它们的输出也不会是一样的。参数称为滤波器（filter）
2024-09-03 11:12:01
363
原创 Datawhale X 李宏毅苹果书 AI夏令营 入门班笔记3、选修
作业通关攻略训练的过程：如何做得更好攻略：模型偏差 可以让损失变低的函数不在模 型可以描述的范围内，能让loss 变低的function不在这个集合set里。就是想要在大海里面捞针（一个损失低的函数），结 果针根本就不在海里 解决办法：重新设计model，有更大的弹性，增加输入的特征。 优化问题：大海捞针，针确实在海里，但是无法把针捞起来。比较不同的模型来判断模型现在到底够不够大
2024-09-01 22:03:52
220
原创 Datawhale X 李宏毅苹果书 AI夏令营 进阶班笔记2
AB 段的坡度很陡，梯度的值很大，还能够前进一点。左拐以后，BC 段的坡度已经非常平坦了，这种小的学习率无法再让训 练前进。事实上在 BC 段有 10 万个点（10 万次更新），但都无法靠近局部最小值，所以显然 就算是一个凸的误差表面，梯度下降也很难训练。梯度在山谷的两个谷壁间，不断地来回“震荡”，这个时候损失不会 再下降，它不是真的卡到了临界点，卡到了鞍点或局部最小值。竖轴是梯度的范数（norm），即梯度这个向量的长度。随着迭代次数增多，虽然损失不再下降，但是梯度的范数并没有真的变得很小。
2024-08-29 21:21:05
142
原创 Datawhale X 李宏毅苹果书 AI夏令营 入门班笔记2
L(θ0) 是指计算梯度的位置，是在 θ 等于 θ0 的地方。计算出 g 后，接下来跟新参数，θ 0 代 表它是一个起始的值，它是一个随机选的起始的值，代表 θ1 更新过一次的结果，θ 0 2 减掉微分 乘以，减掉 η 乘上微分的值，得到 θ 1 2，以此类推，就可以把 1000 个参数都更新了。设有 1000 个参数，这个向量的长度就是 1000，这个向量也称为梯度，∇L 代表梯度。把 N 笔数据随 机分成一个一个的批量（batch），一组一组的。改变斜率，改变交叉点，但还是一条直线。
2024-08-29 00:20:33
174
原创 Datawhale X 李宏毅苹果书 AI夏令营 进阶班笔记1
虽然它在训练集上的损失很低，但训练跟测试之间的损失函 数不一样，因此测试时，损失函数一变，计算出的损失就变得很大。想象一下，损失函数在二维空间中的表现形式像是一个山谷，其中有一个宽阔的底部区域，但在这个宽阔底部的某处还隐藏着一个更深的坑洞。我们在训练一个网络的时候，参数数量动辄达百万千万级，所以误差 表面其实有非常高的维度—— 参数的数量代表了误差表面的维度。在实际应用中，这种方法计算量太大。每次在移动参数的时候，不是只往梯度的反方向来移动参数，而是根据梯度 的反方向加上前一步移动的方向决定移动方向。
2024-08-28 13:03:20
473
1
原创 Datawhale X 李宏毅苹果书 AI夏令营 入门班笔记1
损失是函数L(b,w)，其输入是模型参数 b 跟 w。损失函数输出的值代表，现在如果把这一组未知的参数，设定某一个数值的时候，这笔数值好还是不好。N 代表训验数据的个数，L 是每一笔训练数据的误差e相加以后的结果。L越大，代表现在这一组参数越不好，L越 小，代表现在这一组参数越好。计算y与ˆ y之间绝对值的差 距，称为平均绝对误差（Mean Absolute Error，MAE）。y 与 ˆ y 之间平方的差距，为均方误差（Mean Squared Error，MSE）。
2024-08-28 12:20:58
607
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人