torch
Jack_Kuo
https://github.com/JackKuo666
展开
-
【bert】:在训练bert 语义相似的任务时,last ave state 的计算
在bert模型训练以及预测的时候,我们会使用到最后一层隐藏层的平均语义向量作为句向量,发现部分的计算方式如下:但是这里有一个问题,我们一般输入的文本是小于或者等于seqlen的,如果等于的话,这样计算没有问题。但是如果是小于的话,这里平均到的应该是按照具体整个batch中的每行的长度来计算的,所以这里的计算方式不是最准确的。...原创 2022-06-07 16:46:57 · 394 阅读 · 0 评论 -
【pytorch】cpu与gpu load时相互转化 torch.load(map_location=)
问题gpu训练的模型,使用cpu测试时遇到:RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_location='cpu' to map your storages to the CPU.解决此时改原创 2022-04-14 10:09:35 · 1480 阅读 · 0 评论 -
【transfomers2.11.0】安装版本记录
问题在安装transformers==2.11.0的时候总是出错,这里总结一个正确的版本匹配解决python==3.6.10 # 注意3.6.0 会与安装的torch不兼容报错pip install torch===1.4.0+cpu -f https://download.pytorch.org/whl/torch_stable.html # cpu版本的,其他的自行更改pip install transformers==2.11.0 ...原创 2022-04-13 14:47:12 · 3150 阅读 · 0 评论 -
【pytorch】查看torch的gpu是否可用
cuda是否可用torch.cuda.is_available()返回gpu数量torch.cuda.device_count()返回gpu名字,设备索引默认从0开始torch.cuda.get_device_name(0)返回当前设备索引torch.cuda.current_device()原创 2022-04-12 10:34:02 · 6075 阅读 · 0 评论