- 博客(6)
- 收藏
- 关注
RSS订阅原创 Datawhale X 李宏毅苹果书AI夏令营--tast3笔记 深度学习（批量归一化）、卷积神经网络
用简单的话说，使用一种方法将崎岖的误差表面变得平滑，使我们更好进行优化的操作就叫做批量归一化（Batch Normalization，BN）。如tast2中讲到的凸状损失表面就需要采取一些复杂的方法（如Adam）进行优化。我们最平常的线性模型y=wx+b,当我们将w1+∆w时，就会影响损失，如果此时w1很小，那么他对损失的影响就很小，就相对平滑；同理，将w2+∆w时，如果w2很大，那么w2对损失的影响就很大，就相对陡峭，结合下来就会产生上面凸状误差表面。
2024-09-03 19:47:38
937
原创 Datawhale X 李宏毅苹果书AI夏令营--tast3笔记（机器学习框架&实践攻略）
我们可以把测试结果放到kaggle上进行评估，有时会因为训练集上没有学好而导致误差过大，我们可以通过实践方法论分析在训练集上没有学好的原因。
2024-09-03 10:57:32
684
原创 Datawhale X 李宏毅苹果书AI夏令营--tast2笔记 深度学习（自适应学习率、分类）
该策略通过设置初始学习率、学习率下降的速率以及学习率下降的位置等参数，依据当前训练的step来计算得到当前的学习率。所以在梯度下降里面，所有的参数都是设同样的学习率，这显然是不够的，应该要为每一个参数定制化学习率，即自适应学习率（adaptive learning rate），给每一个参数不同的学习率。对于这个问题，我们第一个想到通过调整学习率来解决，但是经过尝试，当把学习率调整到足够小，虽然解决了在临界点两侧震荡的问题，但是却很难在趋于平缓的低估处通过这么小的"步伐"到达最低点。
2024-08-31 17:51:08
561
原创 Datawhale X 李宏毅苹果书AI夏令营——tast2(了解线性模型)
通过2.1的步骤我们可以确定一个模型（model）,假设我们得到一个这样的模型x 是特征，绿色的 b 是一个向量，灰色的 b 是一个数值。W, b, cT, b是未知参数。我们把 W 的每一行或者是每一列拿出来“拼”成一个长的向量，把 b, cT, b” 拼” 上来，这个长的向量直接用 θ 来表示。所有的未知的参数，一律统称 θ。接下来定义损失，方法同之前线性函数定义损失相同，不过把这些不同的、很多的未知量统称为 θ，计算损失函数 L(θ)。随机选一个初始的数值 θ0。
2024-08-31 09:36:40
1021
原创 Datawhale X 李宏毅苹果书 AI夏令营—task1笔记（局部极小值与鞍点、批量和动量）
局部极小值（local minimum）是指在参数空间中存在的一种情况，其中某个点的损失函数值比其周围任何其他点的损失函数值都要低，但这个点并不是全局最小值。换句话说，局部极小值是在某个特定的区域内，损失函数达到了一个局部最小值，但在整个参数空间中可能存在更低的全局最小值。在深度学习的优化过程中，如果优化算法停留在局部极小值附近，而不是找到全局最小值，那么模型的性能可能会受到影响，导致训练结果不理想。
2024-08-26 18:00:01
719
原创 Datawhale X 李宏毅苹果书 AI夏令营——task 1学习笔记
在这一步，我们需要定义一个损失函数（Loss Function），用于评估模型预测值与真实值之间的差异。损失函数通常是以模型中的未知参数为输入的函数，输出一个标量值，表示当前参数下模型的整体误差。对于房屋价格预测问题，我们可以使用均方误差（Mean Squared Error, MSE）作为损失函数：其中 N 是训练样本的数量。
2024-08-25 16:52:06
690
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人