- 博客(8)
- 收藏
- 关注
原创 Datawhale X 李宏毅苹果书 AI夏令营 入门班选修3
作业运行结果:分类当只有两个类的时候,sigmoid 和 softmax 是等价的。最大化似然(maximize likelihood)Pytorch在做softmax时,会自动加入cross-entrophy.MSE会卡住。
2024-09-03 19:47:32
78
原创 Datawhale X 李宏毅苹果书 AI夏令营 进阶班笔记3/3.1/3.2 选修
因为输入不一样的关系,所以就算是两个神经元共用参数,它们的输出也不会是一样的。参数称为滤波器(filter)
2024-09-03 11:12:01
363
原创 Datawhale X 李宏毅苹果书 AI夏令营 入门班笔记3、选修
作业通关攻略训练的过程:如何做得更好攻略:模型偏差 可以让损失变低的函数不在模 型可以描述的范围内,能让loss 变低的function不在这个集合set里。就是想要在大海里面捞针(一个损失低的函数),结 果针根本就不在海里 解决办法:重新设计model,有更大的弹性,增加输入的特征。 优化问题:大海捞针,针确实在海里,但是无法把针捞起来。比较不同的模型来判断模型现在到底够不够大
2024-09-01 22:03:52
220
原创 Datawhale X 李宏毅苹果书 AI夏令营 进阶班笔记2
AB 段的坡度很陡,梯度的值很大,还能够前进一点。左拐以后,BC 段的坡度已经非常平坦了,这种小的学习率无法再让训 练前进。事实上在 BC 段有 10 万个点(10 万次更新),但都无法靠近局部最小值,所以显然 就算是一个凸的误差表面,梯度下降也很难训练。梯度在山谷的两个谷壁间,不断地来回“震荡”,这个时候损失不会 再下降,它不是真的卡到了临界点,卡到了鞍点或局部最小值。竖轴是梯度的范数(norm),即梯度这个向量的长度。随着迭代次数增多,虽然损失不再下降,但是梯度的范数并没有真的变得很小。
2024-08-29 21:21:05
142
原创 Datawhale X 李宏毅苹果书 AI夏令营 入门班笔记2
L(θ0) 是指计算梯度的位置,是在 θ 等于 θ0 的地方。计算出 g 后,接下来跟新参数,θ 0 代 表它是一个起始的值,它是一个随机选的起始的值,代表 θ1 更新过一次的结果,θ 0 2 减掉微分 乘以,减掉 η 乘上微分的值,得到 θ 1 2,以此类推,就可以把 1000 个参数都更新了。设有 1000 个参数,这个向量的长度就是 1000,这个向量也称为梯度,∇L 代表梯度。把 N 笔数据随 机分成一个一个的批量(batch),一组一组的。改变斜率,改变交叉点,但还是一条直线。
2024-08-29 00:20:33
174
原创 Datawhale X 李宏毅苹果书 AI夏令营 进阶班笔记1
虽然它在训练集上的损失很低,但训练跟测试之间的损失函 数不一样,因此测试时,损失函数一变,计算出的损失就变得很大。想象一下,损失函数在二维空间中的表现形式像是一个山谷,其中有一个宽阔的底部区域,但在这个宽阔底部的某处还隐藏着一个更深的坑洞。我们在训练一个网络的时候,参数数量动辄达百万千万级,所以误差 表面其实有非常高的维度—— 参数的数量代表了误差表面的维度。在实际应用中,这种方法计算量太大。每次在移动参数的时候,不是只往梯度的反方向来移动参数,而是根据梯度 的反方向加上前一步移动的方向决定移动方向。
2024-08-28 13:03:20
473
1
原创 Datawhale X 李宏毅苹果书 AI夏令营 入门班笔记1
损失是函数L(b,w),其输入是模型参数 b 跟 w。损失函数输出的值代表,现在如果把这一组未知的参数,设定某一个数值的时候,这笔数值好还是不好。N 代表训验数据的个数,L 是每一笔训练数据的误差e相加以后的结果。L越大,代表现在这一组参数越不好,L越 小,代表现在这一组参数越好。计算y与ˆ y之间绝对值的差 距,称为平均绝对误差(Mean Absolute Error,MAE)。y 与 ˆ y 之间平方的差距,为均方误差(Mean Squared Error,MSE)。
2024-08-28 12:20:58
607
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人