- 博客(4)
- 收藏
- 关注
RSS订阅原创 深度学习进阶#Datawhale暑期夏令营
每下降一次的步长是确定的，如果补偿比较大的话，就会反弹所以说到鞍部其实是一件比较难得事情，所以就引入AdaGradRMSPropAdam最常用的优化的策略或者优化器让学习率先变大后变小当我们使用 Adam、RMSprop 或 AdaGrad 时，需要计算 σ。而 σ 是一个统计的结果。从 σ 可知某一个方向的陡峭程度。统计的结果需要足够多的数据才精准，一开始统计结果 σ 是不精准的，所以需要先收集数据预热一下。
2024-08-30 20:23:50
274
原创 深度学习#Datawhale暑期AI夏令营
局部极小值与鞍点概念局部极小值：损失函数中梯度为零的点，且在该点附近所有方向上的损失都高于该点。 鞍点：梯度为零的点，但不是局部极小值或局部极大值，某些方向上损失增加，而另一些方向上损失减少。临界点分析泰勒级数近似：用于描述损失函数在参数θ′附近的局部形状。L(θ)≈L(θ′)+(θ−θ′)Tg+12(θ−θ′)TH(θ−θ′)L(θ)≈L(θ′)+(θ−θ′)Tg+21(θ−θ′)TH(θ−θ′) 梯度(g)：损失函数的一阶微分，指向最陡下降方向。 海森矩阵(H)：包含损失函数的二
2024-08-22 19:13:21
116
原创 这个夏令营不简单 #AI夏令营 #Datawhale #夏令营 AI+社会科学Task1 Baseline精读
定价格低了：原本可以卖更多的钱定价高了：要是太高了就超过清出价格了，就一个也卖不出，最后只能亏本卖出。
2024-07-28 11:14:24
439
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人