今日实验总结

使用浪潮AI Station：
（1）显存占用率满了，但是GPU使用率为0，可能是卡子被其他人在使用；
（2）在“开发环境”里面调试，然后安装自己需要的包，把镜像保存；在“训练管理”里面提交训练任务，把之前的镜像再导入；
（3）通常分配的GPU是一块，os.environ[“CUDA_VISIBLE_DEVICES”] = "0"即可；
（4）缺失的链接文件libboost_thread.so.1.58.0和libboost_system.so.1.58.0在调试阶段可以放入当前文件夹，在训练时候可以放入/usr/lib/x86_64-linux-gnu；
（5）训练管理有一个数据集路径设置选项，必须填入路径，然后设置参数，不然会报错runexp.py: error: unrecognized arguments: --data_dir=/cifar10；
（6）代码中shutil.copy复制文件时，使用绝对路径，否则会报错FileNotFoundError:[Errno 2]，但路径不宜过长，也会报错；
（7）Keras高于2.2.4会报错，numpy不要高于1.16.0有警告，TensorFlow默认1.14.0，py3.6，cuda10；
（8）训练管理有两种模式，脚本模式和命令模式;
（9）Tesla V100-SMX2-32G差不多10~12分钟一个回合，超算中心CPU差不多27分一个回合；
（10）未解决的问题，pycharm打开远程sftp以后有编辑权限，为什么没有删除移动等权限，新生成的runexp.log也打不开，permission denied何解，可能是因为挂载在/mnt上的。

参考链接:
https://www.e-learn.cn/topic/3782604
https://blog.csdn.net/weixin_38634125/article/details/106100210