1. 服务器网速太慢的时候使用国内的源,在 pip install xx 后面加上 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com.
2. 报错torch‘ has no attribute ‘inference_mode‘和AttributeError: module 'torch' has no attribute 'autocast', 实测在另一台服务器上torch版本为2.0.1并不会出现此类问题,能升级最好是通过升级解决。
3. 使用tmux可以将程序挂在后台跑,这样就不用担心网络波动导致的断连了。具体见Tmux 使用教程 - 阮一峰的网络日志 (ruanyifeng.com)
4. The server socket has failed to bind to [::]:29500 (errno: 98 - Address already in use)报错是因为由于中途关闭DDP运行,从而没有释放DDP的相关端口号,显存占用信息,当下次再次运行DDP时,使用的端口号是使用的DDP默认的端口号,也即是29500,因此造成冲突。解决方法:在命令行中在启动DDP命令中(在xx.py前)手动加上一句"_ _master_port=xxxxx"(注意需要释放前一个DDP占用的显存,可能会导致显存不足)
5. 查看显卡使用情况的命令:nvidia-smi
6. n-gram语言模型、基于行长度或字母数字字符比例的启发式方法、重复数据删除似乎可以用来过滤低质量的数据