pytorch以及transformers各种问题总结中

RuntimeError: cuda runtime error (38) : no CUDA-capable device is detected at /pytorch/aten/src/THC/THCGeneral.cpp:50

将os.environ[‘CUDA_VISIBLE_DEVICES’]赋值为’0’

os.environ['CUDA_VISIBLE_DEVICES']='0'

RuntimeError: Expected object of device type cuda but got device type cpu for argument #2 ‘mat2’ in call to _th_mm

这可能是整个Model模型中，某个位置定义了张量或者定义了一个层，此时这个张量和这个层的参数要显示的转为cuda 类型。在pytorch中定义模型结构时，尽量将所有的层都放在__init__中定义。

transformers.Bert Model.from_pretrained(“xxx”)

下载的预训练模型保存在~/.cache/torch/transformers
若是想下载到指定路径下，只需要加上cache_dir这个参数

注意如果你想利用tensorflow来加载模型

那么就一定要注意以下的问题

transformers.TFBertModel.from_pretrained(‘xxx’)

AttributeError: ‘Tensor’ object has no attribute ‘size’

这个错误是因为你用的tensoflow但是BertModel它默认是pytorch的，所以要将
代码中的BertModel改为TFBertModel

ValueError: The first argument to Layer.call must always be passed

这个错误是因为你用的tensorflow，但是传参的时候出现了问题，
如下图是pytorch的：

下图是tensorflow的

因此在将数据传进去的时候，最好将input_ids,segment_ids,input_mask,position_ids打包成一个list，也就是inputs

OSError: libtorch_cpu.so: cannot open shared object file: No such file or directory

将torchtext由0.7.0的版本退回到0.6.0的版本

ERROR: Could not install packages due to an EnvironmentError: [Errno 2] 没有那个文件或目录: ‘/home/xhsun/anaconda3/lib/python3.7/site-packages/numpy-1.19.1.dist-info/METADATA’

根据报错信息找到numpy-1.19.1.dist-info这个文件夹的位置，删除该文件夹。这个报错原因好像是因为之前版本的卸载残留问题