环境配置经验帖
python篇
1、在Visual Studio Code中按Ctrl+Shift+P可以选择python环境。
2、Anaconda可以非常方便的使用控制面板来选择不同的虚拟环境。
3、手动创建虚拟环境:
## 安装虚拟环境
pip install virtualenv
## 下载python3.6版本
https://www.python.org/getit/
## 创建虚拟环境(-p后面接的是对应的python版本 然后跟着的就是名字)
virtualenv -p path\to\your\python??.exe roubustness
## 进入虚拟环境位置
cd roubustness
## 进入 Script
cd Scripts
## 启动虚拟环境(退出是deactivate)
activate.bat
4、pip安装加速推荐使用清华源
pip install tensorflow-gpu -i https://pypi.tuna.tsinghua.edu.cn/simple
5、python安装的官方网站:python官网
6、tensorflow官网:tensorflow官网
7、Ubuntu安装指定版本python,以及虚拟环境配置
## Ubuntu安装python指定版本
(https://www.python.org/ftp/目录下有各种各样的python版本)
wget https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tgz
tar -xf Python-3.6.3.tgz
cd Python-3.6.3
./configure --prefix=/usr/local/python3
make
make install
##为该python安装虚拟环境
### 安装虚拟环境
pip install virtualenv
### 创建虚拟环境(-p后面接的是对应的python版本 然后跟着的就是名字)
virtualenv -p path\to\your\python?? <your_env_name>
### 进入虚拟环境位置
cd <your_env_name>
cd bin/
### 给activate程序添加可执行权限
chmod a+x activate
### 启动activate
source activate
### 虚拟环境完成,然后可以在这个环境中pip自己的包
conda篇
# 安装anaconda(https://blog.csdn.net/wyf2017/article/details/118676765)
1、apt-get install -y wget
2、wget https://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh
3、chmod +x Anaconda3-5.3.0-Linux-x86_64.sh
4、./Anaconda3-5.3.0-Linux-x86_64.sh
然后一直yes,然后最后一个yes就是自动配置环境变量。
5、如果环境变量没有配置好,则:
在终端输入:sudo vim ~/.bashrc
打开注册表后,在注册表中加入:
export PATH=/data/anaconda3/bin:$PATH (PATH后面为自己anaconda安装的位置)
立即生效,输入:source ~/.bashrc
# 创建虚拟环境
1、conda create -n python3_7 python=3.7 (python3_7 是我自己取的名字)
2、conda activate python3_7
cuda篇
# 安装cuda (参考https://zhuanlan.zhihu.com/p/108930996 或者 https://www.jianshu.com/p/10c4d273ec57)
0、sudo apt install ubuntu-drivers-common (先要安装这个才能查询)
1、ubuntu-drivers devices (查询电脑所需要的驱动)
2、sudo ubuntu-drivers autoinstall (自动安装相关驱动)
3、sudo apt install gcc (安装gcc)
4、wget http://developer.download.nvidia.com/compute/cuda/11.0.2/local_installers/cuda_11.0.2_450.51.05_linux.run (在官网上下载包)
5、sudo sh cuda_11.0.2_450.51.05_linux.run (运行安装包)
6、驱动啥的都不装,只勾选cuda11一个选项!!!!! (这里面有参考图https://www.jianshu.com/p/10c4d273ec57)
7、配置环境变量:
sudo vim ~/.bashrc
打开文档后末尾加入以下信息:
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CPUTI/lib64:/usr/local/cuda/include/
export CUDA_HOME=/usr/local/cuda
export PATH=$PATH:$LD_LIBRARY_PATH:$CUDA_HOME
然后重启配置:
source ~/.bashrc
8、检查是否安装成功:
nvcc -V
如果出现:
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2020 NVIDIA Corporation
Built on Thu_Jun_11_22:26:38_PDT_2020
Cuda compilation tools, release 11.0, V11.0.194
Build cuda_11.0_bu.TC445_37.28540450_0
成功安装!
# 安装相应的pytorch(https://pytorch.org/)
conda安装方式参考:https://blog.csdn.net/CV_YOU/article/details/83074448
1、直接进入虚拟环境进行pip安装. (!记得先conda activate python3_7, 注意要安装torch1.7的版本)
pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html
2、安装相关的包
pip install click requests tqdm pyspng ninja imageio-ffmpeg==0.4.3
# 下载模型到/data/GAN/stylegan2-ada-pytorch-main
1、
sudo wget https://nvlabs-fi-cdn.nvidia.com/stylegan2-ada-pytorch/pretrained/paper-fig11b-cifar10/cifar10c-cifar-ada-best-fid.pkl
2、
sudo wget https://nvlabs-fi-cdn.nvidia.com/stylegan2-ada-pytorch/pretrained/paper-fig11b-cifar10/cifar10u-cifar-ada-best-fid.pkl
3、放入我自己的测试代码:start.py
# 如果遇到文件夹权限问题
1、sudo chown -R ubuntu stylegan2-ada-pytorch-main/ (把对应的文件用户修改为当前登录用户我当前登录是ubuntu用户, -R的意思是往下递归执行,子文件夹也是)
2、如果还有问题则:chmod +wx 对应的文件
# 安装gcc的一些包(subprocess.CalledProcessError: Command '['which', 'c++']' returned non-zero exit status 1.)
1、sudo apt-get install build-essential
# 装一个ninja (不知道有没有发挥作用,我装了, 没进入虚拟环境也装一个)
sudo apt install ninja-build
# 安装安装pybind11 (在自己的虚拟环境下安装)
1、pip install pybind11
问题1:subprocess.CalledProcessError: Command '['ninja', '-v']' returned non-zero exit status 1.
参考:
https://github.com/NVlabs/stylegan2-ada-pytorch/issues/155
或者
https://www.cnblogs.com/June62308991/p/13255247.html
1、****/site-packages/torch/utils/cpp_extension.py中将['ninja', '-v']改成['ninja', '--version']
# 修改文件 (ninja自动生成的build那个东西中的nvcc中的路径多了个bin)
1、/home/ubuntu/.cache/torch_extensions/bias_act_plugin/build.ninja
中第三行的nvcc修改为:nvcc = /usr/local/cuda/bin/nvcc
2、/home/ubuntu/.cache/torch_extensions/upfirdn2d_plugin/build.ninja
同上
或者:在/data/anaconda3/envs/python3_7/lib/python3.7/site-packages/torch/utils/cpp_extension.py
把1744行中的nvcc = _join_cuda_home('bin', 'nvcc') 改成 nvcc = _join_cuda_home('', 'nvcc')
或者:vim ~/.bashrc中的¥cudahome路径改成:(强烈推荐这个!!!成功)
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CPUTI/lib64:/usr/local/cuda/include/
export CUDA_HOME=/usr/local/cuda
export PATH=$PATH:$LD_LIBRARY_PATH:$CUDA_HOME
然后再source ~/.bashrc
# 最后一步,如果python start.py会报错,则进入/home/ubuntu/.cache/torch_extensions/bias_act_plugin
然后直接输入ninja进行编译build.ninja文件,然后就会出来一堆东西,然后再到/data/GAN/stylegan2-ada-pytorch-main中python start.py就可以成功了!!!
# 如果云主机中没有data文件夹,则:
1、在根目录下创建data(mkdir data)
2、然后挂载数据盘:mount /dev/vdb /data/
stylegan2 配置篇
# 安装anaconda(https://blog.csdn.net/wyf2017/article/details/118676765)
1、apt-get install -y wget
2、wget https://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh
3、chmod +x Anaconda3-5.3.0-Linux-x86_64.sh
4、./Anaconda3-5.3.0-Linux-x86_64.sh
然后一直yes,然后最后一个yes就是自动配置环境变量。
5、如果环境变量没有配置好,则:
在终端输入:sudo vim ~/.bashrc
打开注册表后,在注册表中加入:
export PATH=/data/anaconda3/bin:$PATH (PATH后面为自己anaconda安装的位置)
立即生效,输入:source ~/.bashrc
# 创建虚拟环境
1、conda create -n python3_7 python=3.7 (python3_7 是我自己取的名字)
2、conda activate python3_7
# 安装cuda (参考https://zhuanlan.zhihu.com/p/108930996 或者 https://www.jianshu.com/p/10c4d273ec57)
0、sudo apt install ubuntu-drivers-common (先要安装这个才能查询)
1、ubuntu-drivers devices (查询电脑所需要的驱动)
2、sudo ubuntu-drivers autoinstall (自动安装相关驱动)
3、sudo apt install gcc (安装gcc)
4、wget http://developer.download.nvidia.com/compute/cuda/11.0.2/local_installers/cuda_11.0.2_450.51.05_linux.run (在官网上下载包)
5、sudo sh cuda_11.0.2_450.51.05_linux.run (运行安装包)
6、驱动啥的都不装,只勾选cuda11一个选项!!!!! (这里面有参考图https://www.jianshu.com/p/10c4d273ec57)
7、配置环境变量:
sudo vim ~/.bashrc
打开文档后末尾加入以下信息:
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CPUTI/lib64
export CUDA_HOME=/usr/local/cuda/bin
export PATH=$PATH:$LD_LIBRARY_PATH:$CUDA_HOME
然后重启配置:
source ~/.bashrc
8、检查是否安装成功:
nvcc -V
如果出现:
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2020 NVIDIA Corporation
Built on Thu_Jun_11_22:26:38_PDT_2020
Cuda compilation tools, release 11.0, V11.0.194
Build cuda_11.0_bu.TC445_37.28540450_0
成功安装!
# 安装相应的pytorch(https://pytorch.org/)
conda安装方式参考:https://blog.csdn.net/CV_YOU/article/details/83074448
1、直接进入虚拟环境进行pip安装. (!记得先conda activate python3_7, 注意要安装torch1.7的版本)
pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html
2、安装相关的包
pip install click requests tqdm pyspng ninja imageio-ffmpeg==0.4.3
# 下载模型到/data/GAN/stylegan2-ada-pytorch-main
1、
sudo wget https://nvlabs-fi-cdn.nvidia.com/stylegan2-ada-pytorch/pretrained/paper-fig11b-cifar10/cifar10c-cifar-ada-best-fid.pkl
2、
sudo wget https://nvlabs-fi-cdn.nvidia.com/stylegan2-ada-pytorch/pretrained/paper-fig11b-cifar10/cifar10u-cifar-ada-best-fid.pkl
3、放入我自己的测试代码:start.py
# 如果遇到文件夹权限问题
1、sudo chown -R ubuntu stylegan2-ada-pytorch-main/ (把对应的文件用户修改为当前登录用户我当前登录是ubuntu用户, -R的意思是往下递归执行,子文件夹也是)
2、如果还有问题则:chmod +wx 对应的文件
# 安装gcc的一些包(subprocess.CalledProcessError: Command '['which', 'c++']' returned non-zero exit status 1.)
1、sudo apt-get install build-essential
# 装一个ninja (不知道有没有发挥作用,我装了, 没进入虚拟环境也装一个)
sudo apt install ninja-build
# 安装安装pybind11 (在自己的虚拟环境下安装)
1、pip install pybind11
问题1:subprocess.CalledProcessError: Command '['ninja', '-v']' returned non-zero exit status 1.
参考:
https://github.com/NVlabs/stylegan2-ada-pytorch/issues/155
或者
https://www.cnblogs.com/June62308991/p/13255247.html
1、****/site-packages/torch/utils/cpp_extension.py中将['ninja', '-v']改成['ninja', '--version']
# 修改文件 (ninja自动生成的build那个东西中的nvcc中的路径多了个bin)
1、/home/ubuntu/.cache/torch_extensions/bias_act_plugin/build.ninja
中第三行的nvcc修改为:nvcc = /usr/local/cuda/bin/nvcc
2、/home/ubuntu/.cache/torch_extensions/upfirdn2d_plugin/build.ninja
同上
或者:在/data/anaconda3/envs/python3_7/lib/python3.7/site-packages/torch/utils/cpp_extension.py
把1744行中的nvcc = _join_cuda_home('bin', 'nvcc') 改成 nvcc = _join_cuda_home('', 'nvcc')
或者:vim ~/.bashrc中的¥cudahome路径改成:(强烈推荐这个!!!成功)
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CPUTI/lib64:/usr/local/cuda/include/
export CUDA_HOME=/usr/local/cuda
export PATH=$PATH:$LD_LIBRARY_PATH:$CUDA_HOME
然后再source ~/.bashrc
# 最后一步,如果python start.py会报错,则进入/home/ubuntu/.cache/torch_extensions/bias_act_plugin
然后直接输入ninja进行编译build.ninja文件,然后就会出来一堆东西,然后再到/data/GAN/stylegan2-ada-pytorch-main中python start.py就可以成功了!!!