- 博客(6)
- 收藏
- 关注
RSS订阅原创 windows系统重装
记录本小白电脑重装过程中遇到的困难，方便以后查阅。装完后才写的博客，没有拍照记录了（个人的安装步骤，稍微粗略的记录一下）。
2022-10-06 22:13:30
135
原创 CrossEntropyLoss 学习笔记（个人理解）
对于真实类别为1的样本，其对应的损失为lna， 对于真实类别为0的样本，对应的损失为ln(1-a)。，如果对于所有的样本输入，其对应的输出越接近真实结果，那么这个loss将越趋向于0。直接进入正题，对于一个二分类问题，我们可以定义如下的交叉熵代价函数，(其值通常为1)中的i代表哪一类样本是正确的，而将其当做代价函数，本人清楚一下两点原因，其中，n代表总的样本数（batch）。代表正确的那一类预测出来的概率。
2022-09-29 20:04:47
193
1
原创 因Auotcast和GradScaler，MAE的Loss为NAN
上图截取自pytorch官网。上图第一段，主要描述了AMP提供了混合精度运算，主要是因为：一些operations在float16等数据类型上计算效率高，另一些operations则在float32上计算效率更高，故而混合精度的算法设计是有必要的。（听说效率可以提高一倍以上，真的恐怖！！！）第二段则是说要使用AMP，需要联合使用autocast和GradScaler，在cpu上，对于bfloat16类型，可以仅使用autocast。使用的代码示例（来自AMP示例。
2022-09-27 16:14:30
549
1
原创 Kaiming的MAE，yeild 最简单直接的理解
今天看MAE代码的过程中，发现了enumerate配合yeild函数一起出现，弄得我是晕头转向，在查了一些资料后，总结如下。
2022-09-24 10:12:29
581
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人