问题解决方案整理

一、环境搭建

1.1 tensorflow

1.1.1 安装tensorflow1.4.1，python3.6报错

问题报错 [tensorflow]compiletime version 3.5 of module ‘tensorflow.python.framework.fast_tensor_util’ does not match runtime version 3.6
解决方案 虽然 tensorflow1.4 版本声称自己是支持python3.6的，但如果你同时安装了这俩，就会出现如上报错，通过浏览国外tensorflow社区，发现这是一个tensorflow1.4的错误，与个人配置无关，解决方案为降级tensorflow到1.3版本。

二、训练

2.1 pytorch

2.1.1 在训练的时候，多块gpu只能用1块（别的有人在用）

此时用以下代码指定第二块gpu，但会发现第0块gpu也被占用了。这是因为pytorch会在第0块gpu上初始化，并且会占用一定空间的显存。

device = torch.device("cuda:2" if use_cuda else "cpu")

解决这个问题，在代码最前面加上以下三行代码，直接指定了只有第二块gpu可用。

import os
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"] = "2"

2.1.2 远程服务器visdom不可用

// 在本地cmd输入以下代码，将本地18097与服务器8097端口连接
ssh -L 18097:127.0.0.1:8097 username@服务器ip地址
// 在服务器启动visdom
python -m visdom.server
// 在浏览器输入以下地址
127.0.0.1:18097

2.1.3 模型输出结果不一致

最近遇到模型输出结果不一致的问题，困扰了好多天，在此记录一下。
1.必须设置随机种子。

//固定一个随机种子
def seed(seed_val): 
    np.random.seed(seed_val)
    torch.manual_seed(seed_val)
    random.seed(seed_val)

2.让卷积算法固定起来（会损失一定的效率）

torch.backends.cudnn.benchmark = False 
torch.backends.cudnn.deterministic = True

3.最好使用同一台服务器，cuda版本和cudnn版本也会影响输出。

2.2 GAN

2.2.1 GAN本身的逻辑导致的in-place操作

这个问题绝对值得一记，困扰了我整整一周。
报错如下：RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation
分析：在执行生成器梯度backward（）时发生inplace操作，不是代码风格问题，而是GAN本身在更新判别器梯度时，会影响生成器梯度的更新。
详细的我也不想在这写了，直接看解决方案：
解决方案.
ps：torch1.5版本出现此问题，1.4及以下没有这个问题。