问题解决方案
一、环境搭建
1.1 tensorflow
1.1.1 安装tensorflow1.4.1,python3.6报错
问题报错 [tensorflow]compiletime version 3.5 of module ‘tensorflow.python.framework.fast_tensor_util’ does not match runtime version 3.6
解决方案 虽然 tensorflow1.4 版本声称自己是支持python3.6的,但如果你同时安装了这俩,就会出现如上报错,通过浏览国外tensorflow社区,发现这是一个tensorflow1.4的错误,与个人配置无关,解决方案为降级tensorflow到1.3版本。
二、训练
2.1 pytorch
2.1.1 在训练的时候,多块gpu只能用1块(别的有人在用)
此时用以下代码指定第二块gpu,但会发现第0块gpu也被占用了。这是因为pytorch会在第0块gpu上初始化,并且会占用一定空间的显存。
device = torch.device("cuda:2" if use_cuda else "cpu")
解决这个问题,在代码最前面加上以下三行代码,直接指定了只有第二块gpu可用。
import os
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"] = "2"
2.1.2 远程服务器visdom不可用
// 在本地cmd输入以下代码,将本地18097与服务器8097端口连接
ssh -L 18097:127.0.0.1:8097 username@服务器ip地址
// 在服务器启动visdom
python -m visdom.server
// 在浏览器输入以下地址
127.0.0.1:18097
2.1.3 模型输出结果不一致
最近遇到模型输出结果不一致的问题,困扰了好多天,在此记录一下。
1.必须设置随机种子。
//固定一个随机种子
def seed(seed_val):
np.random.seed(seed_val)
torch.manual_seed(seed_val)
random.seed(seed_val)
2.让卷积算法固定起来(会损失一定的效率)
torch.backends.cudnn.benchmark = False
torch.backends.cudnn.deterministic = True
3.最好使用同一台服务器,cuda版本和cudnn版本也会影响输出。
2.2 GAN
2.2.1 GAN本身的逻辑导致的in-place操作
这个问题绝对值得一记,困扰了我整整一周。
报错如下:RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation
分析:在执行生成器梯度backward()时发生inplace操作,不是代码风格问题,而是GAN本身在更新判别器梯度时,会影响生成器梯度的更新。
详细的我也不想在这写了,直接看解决方案:
解决方案.
ps:torch1.5版本出现此问题,1.4及以下没有这个问题。