python与深度学习
f(x)682
华东师范大学 计算机在读研究生,正在努力向上中!!!
展开
-
CrossEntropyLoss 学习笔记(个人理解)
对于真实类别为1的样本,其对应的损失为lna, 对于真实类别为0的样本,对应的损失为ln(1-a)。,如果对于所有的样本输入,其对应的输出越接近真实结果,那么这个loss将越趋向于0。直接进入正题,对于一个二分类问题,我们可以定义如下的交叉熵代价函数,(其值通常为1)中的i代表哪一类样本是正确的,而将其当做代价函数,本人清楚一下两点原因,其中,n代表总的样本数(batch)。代表正确的那一类预测出来的概率。原创 2022-09-29 20:04:47 · 193 阅读 · 1 评论 -
因Auotcast和GradScaler,MAE的Loss为NAN
上图截取自pytorch官网。上图第一段,主要描述了AMP提供了混合精度运算,主要是因为:一些operations在float16等数据类型上计算效率高,另一些operations则在float32上计算效率更高,故而混合精度的算法设计是有必要的。(听说效率可以提高一倍以上,真的恐怖!!!)第二段则是说要使用AMP,需要联合使用autocast和GradScaler,在cpu上,对于bfloat16类型,可以仅使用autocast。使用的代码示例(来自AMP示例。原创 2022-09-27 16:14:30 · 548 阅读 · 1 评论 -
Kaiming的MAE,yeild 最简单直接的理解
今天看MAE代码的过程中,发现了enumerate配合yeild函数一起出现,弄得我是晕头转向,在查了一些资料后,总结如下。原创 2022-09-24 10:12:29 · 580 阅读 · 2 评论