- 博客(2)
- 收藏
- 关注
RSS订阅原创 深度了解detach()，这一篇足矣！
PyTorch中detach()方法用于从计算图中分离张量，返回与原张量共享数据但无梯度的新张量。在评估阶段使用时，可防止内存泄漏并提高效率。典型应用场景包括：记录损失值（loss.detach().cpu().item()）、测试阶段预测等。与item()的区别在于，detach()保留张量形式而item()返回Python标量。实战中建议在评估循环配合torch.no_grad()使用detach()，既确保内存安全又保持防御性编程。不恰当使用（如直接存储带梯度张量）会导致计算图累积和内存增长。
2025-06-05 23:29:17
414
原创 生动形象地理解相对熵和交叉熵
视频讲解了信息量、信息熵、KL散度和交叉熵的概念及其在机器学习中的应用。信息量衡量事件发生的“意外程度”，定义为f(x)=-log(x)。信息熵是概率分布的平均不确定性，即信息量的期望值。KL散度衡量两个概率模型的接近程度，值越大表示差异越大。交叉熵常用于分类问题的损失函数，通过最小化交叉熵来使模型输出接近真实数据分布。视频通过具体例子和公式详细解释了这些概念及其相互关系。
2025-05-20 23:27:06
654
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人