SoniciSika

最近每天调transformer，自己的显卡承受不了，需要链接远程服务器，但是写好再传到服务器比较麻烦，也没办法装图形化IDE。 幸亏Pycharm提供了非常优秀的远程调试方法，和在本机操作没有任何区别。 设置远程python解释器 我们以新建项目为例，当它需求一个python解释器时，选择existing interpreter，点击旁边的… 选择ssh interpreter，填写你的hos...

这个bug有两种原因。 一是在pytorch早期版本中，使用了超过512的序列长度，见：训练bert中的一些坑。 二是config文件和model不相符，有可能是你添加了special token，但是没有添加到model的embedding_size里。 在huggingface系预训练model中，使用这一的句子添加special token是安全的。 def add_special_toke...