个人多gpu情况下训练基于bert的模型的一些坑（未完）

1. 训练的时候想设置更新的参数（比如bert层不更新，只更新自己写的NN的部分），结果optimizer的para参数在DataParallel读取的时候出现了下面的问题：
   AttributeError: ‘DataParallel’ object has no attribute ‘xxxx’
   解决方法参考：
   https://blog.csdn.net/Chris_zhangrx/article/details/86619834
   if isinstance(model,torch.nn.DataParallel):
   model_new = model.module
   再去对model_new.xxx_layer进行操作
2. detach()小心使用，保险点还是直接靠opt去控制更新参数，之前不知道什么原因导致进程卡死了，结果杀进程出错导致gpu变成init的僵尸进程，杀不掉但占满了GPU资源（显存到没怎么占），结果其他进程也没法用这几块卡了…
3. config json里默认的学习率很低，只打印开头的部分会发现参数仿佛没有更新
4. json一定要双引号，且没法注释
5. crossentropy_loss == log_softmax+NLLoss
6. 注意下默认的实现里只用了bert最后一层（第12层的）cls token的向量去bert-pool再分类，因为此时的cls向量是fine-tune到对应的NLP分类任务的，如果接着改到其他模型的时候还直接用该向量，效果不一定好，个人尝试过是参考bert_as_serving那样去利用倒数第二层的各个token的表示求平均，或者用每层的token的表示求平均，不做pool效果更好，更适合作为句子向量