- 博客(2)
- 收藏
- 关注
RSS订阅原创 .gitignore失效情况解决
如果.gitignore无效，可能是因为文件已经被跟踪、路径错误、格式错误或者忽略规则的优先级问题。通过检查这些方面并按照上述步骤进行调整，你应该能够解决.gitignore无效的问题。4o。
2024-06-27 20:26:01
312
原创 为什么要进行梯度累加
为什么要进行梯度累加一个解决内存受限的训练技巧训练神经网络的时候，batch size越大，模型往往越稳定。但在计算需求量大而显存不足的情况下，为保证理想的batch size，就可采取梯度累加(Gradient Accumulation)技术，对同一批次分割计算损失求梯度，将无法一次性放入显存的批次分成几部分分别放入计算。由于∂L∂θ=∂∑iLi∂θ=∑i∂Li∂θ,\frac{\partial L}{\partial\theta} = \frac{\partial \sum_i L_i}{\p
2022-05-05 12:34:53
795
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人