tensorflow和pytorch环境搭建
初入深度学习的坑,先从环境配置开始。
本文将记录在Ubuntu 18.04环境中的搭建,对于Windows环境的搭建,这里暂时不做叙述。
本文首先搭建一些基本环境,比如CUDA,CUDNN以及anaconda用于管理环境。
CUDA的安装
因为之前已经写过教程,这里不在赘述,详见CUDA安装。
不过CUDA有时候安装不了,很有可能是gcc和g++版本的问题,所以安装不顺的时候,可以检查一下gcc和g++的版本是否过高或者过低。
CUDNN的安装
去官网下载CUDNN的包,例如我这里下载的是cudnn-10.0-linux-x64-v7.4.2.24.tgz
执行一下操作进行解压安装
tar -zxvf cudnn-10.0-linux-x64-v7.4.2.24.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*
可以通过一下指令查看CUDNN的版本信息
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
OpenCV的安装
# 下载opencv
git clone https://github.com/opencv/opencv
# 安装依赖项
sudo apt-get install build-essential
sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff5-dev libdc1394-22-dev # 处理图像所需的包
sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-dev liblapacke-dev
sudo apt-get install libxvidcore-dev libx264-dev # 处理视频所需的包
sudo apt-get install libatlas-base-dev gfortran # 优化opencv功能
sudo apt-get install ffmpeg
# 编译安装opencv
cd opencv
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
make
sudo make install
#配置环境
sudo /bin/bash -c 'echo "/usr/local/lib" > /etc/ld.so.conf.d/opencv.conf'
sudo ldconfig
安装python-opencv
可直接使用apt安装
sudo apt-get install python-opencv
sudo apt-get install python-numpy
Anaconda的安装
去官网下载相应的Anaconda安装包,例如我这里下载的是Anaconda3-2018.12-Linux-x86_64.sh
执行以下命令安装
bash Anaconda3-2018.12-Linux-x86_64.sh
根据提示一路yes即可,最后那个VS code也可以不安装,根据需要自行选择。
如果之前没有配置环境变量导致conda不可用,可以按照以下方式解决
# 将anaconda的bin目录加入PATH,根据版本不同,也可能是~/anaconda3/bin
echo 'export PATH="~/anaconda2/bin:$PATH"' >> ~/.bashrc
# 更新bashrc以立即生效
source ~/.bashrc
安装完成后可以通过以下方式查看版本
conda --version
tensorflow和Pytorch环境的配置
为了方便环境的版本的管理,我们使用anaconda来创建环境,然后来配置深度学习的环境,这样不至于让自己的环境很乱,只是每次进入环境的时候需要手动激活以下环境即可。
tensorflow的环境配置
首先我们需要创建环境,这里我们创建一个名为tensorflow36的环境,其中python版本为3.6
conda create -n tensorflow36 python=3.6
其次我们激活环境
source activate tensorflow36
安装tensorflow
# CPU版本
pip install tensorflow
# GPU版本
pip install tensorflow-gpu
# 卸载用
pip uninstall tensorflow
到此tensorflow的环境就安装好了,此处如果CUDA的版本过高的话GPU版本装上了也是用不了的,故需要注意版本问题。
退出当前环境
source deactivate tensorflow36
pytorch的环境配置
首先我们创建一个名为pytorch的环境,其中python版本为3.7
conda create -n pytorch python=3.7
其次我们激活环境
source activate pytorch
pytorch的安装可以参考Pytorch官网进行安装。官网提供了多种安装方式,需要注意自己环境中的python版本以及CUDA的版本。
到此pytorch的环境配置以及完成
退出当前环境
source deactivate pytorch
anaconda的简单使用
创建环境
conda create --name <env_name> <package_names>
激活环境
source activate <env_name>
退出当前环境
source deactivate
显示已经创建的环境
conda env list
或
conda info --envs
或
conda info -e
复制环境
conda create --name <new_env_name> --clone <copied_env_name>
删除环境
conda remove --name <env_name> --all
获取当前环境中已安装的包信息
conda list
查找可供安装的包版本
# 精确查找
conda search --full-name <package_full_name>
# 模糊查找
conda search <text>
安装包
# 在指定环境中安装包
conda install --name <env_name> <package_name>
# 在当前环境中安装包
conda install <package_name>
# 使用pip安装包
pip install <package_name>
卸载包
# 卸载指定环境中的包
conda remove --name <env_name> <package_name>
# 卸载当前环境中的包
conda remove <package_name>
更新包
# 更新所有包
conda update --all
或
conda upgrade --all
# 更新指定包
conda update <package_name>
或
conda upgrade <package_name>