Ubuntu18.04深度学习环境配置(简易方式)

为避免读者踩坑,本文测试成功了Ubuntu18.04环境下配置深度学习环境:

(GPU:NVIDIA TITAN Xp),包括:

CUDA+CUDNN+TensorFlow1.9+Pytorch1.1的安装和测试。

一、硬件配置

超微塔式服务器

显卡 NVIDIA TITAN Xp *4
内存 128G
CPU 2620V4* 2
电源 1600w *2
硬盘 256G*2+2T*2

二、安装
1.安装Ubuntu
使用U盘进行Ubuntu操作系统的安装:
参考:

https://jingyan.baidu.com/article/a3761b2b66fe141577f9aa51.html
一开始安装选择"Install Ubuntu"回车后过一会儿屏幕如果显示“输入不支持”,这和Ubuntu对显卡的支持有关,在安装主界面的F6,选择nomodeset,就可以进入下一步安装了。
安装过程略,安装镜像下载地址:
ubuntu.com/download/des
下载:ubuntu-18.04.2-desktop-amd64.iso

2.安装ssh
备注:这一步需要到服务器桌面上的命令窗口输入,这一步完成后,就可以用ssh工具远程连接服务器了,本文使用的是XShell。

sudo apt-get install openssh-server

3. 安装NVIDIA TITAN Xp显卡驱动
默认安装的显卡驱动不是英伟达的驱动,所以先把旧得驱动删除掉。

sudo apt-get purge nvidia*

添加Graphic Drivers PPA

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update

查看合适的驱动版本:

ubuntu-drivers devices
图:可用的nvidia 驱动列表

图中可以看出推荐的是最新的430版本的驱动,安装该驱动:

sudo apt-get install nvidia-driver-430

安装完毕后重启机器:

sudo reboot

重启完毕运行

nvidia-smi

看看生效的显卡驱动:

图:生效的显卡驱动

4.安装依赖库

sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-devlibgl1-mesa-glx libglu1-mesa libglu1-mesa-dev


5.GCC降低版本
CUDA9.0要求GCC版本是5.x或者6.x,其他版本不可以,需要自己进行配置,通过以下命令才对GCC版本进行修改。

  • 版本安装

# 版本安装:
sudo apt-get install gcc-5
sudo apt-get install g++-5
  • 通过命令替换掉之前的版本

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-5 50
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-5 50


6.安装Anaconda和tensorflow、keras和pytorch

重点:让conda自动安装cuda和cudnn!!!
由于Anaconda可以提供完整的科学计算库,所以直接使用Anaconda来进行相关的安装。
1)安装Anaconda
下载地址:https://www.anaconda.com/download/
这里我们下载Python 3.7 64bit 的linux版本。
安装:

bash Anaconda3-2019.03-Linux-x86_64.sh

2)更改pip和conda为国内的源
由于国内访问pip和conda比较慢,建议更改为国内的源:
a.更改pip的源为阿里云:

mkdir ~/.pip
cat > ~/.pip/pip.conf << EOF
[global]
trusted-host=mirrors.aliyun.com
index-url=https://mirrors.aliyun.com/pypi/simple/
EOF

备注:conda 国内源都封了,不需要更换源了

3)在Anaconda中安装Python3.7的虚拟环境
创建一个Python的虚拟环境

conda create --name tf python=3.7 #创建tf环境

虚拟环境主要命令:

source activate tf #激活tf环境
source deactivate tf #退出tf环境
conda remove --name tf --all #删除tf环境(全部删除)

4)在Anaconda中安装TensorFlow GPU 1.9

conda install tensorflow-gpu==1.9

将会自动安装:
cuda,cudnn以及相关的其他组件

5)使用下列代码测试安装正确性
命令行输入:

source activate tf
python

Python命令下输入以下代码:

import tensorflowas tf
hello= tf.constant('Hello, TensorFlow!')
sess= tf.Session()
print(sess.run(hello))

没有报错就是配置好了。

6)安装Keras
直接在这个虚拟环境中安装:

pip install keras

7)安装Pytorch
直接在这个虚拟环境中安装:

conda install pytorch torchvision -c pytorch

系统会自动安装cuda和cudnn
测试Pytorch是否安装成功:
命令行输入:

source activate tf
python

python命令下输入以下代码:

import torch
print(torch.cuda.is_available())

返回True说明安装成功了。


总结
为避免读者踩坑,本文测试成功了Ubuntu18.04环境下配置深度学习环境包括:CUDA+CUDNN+TensorFlow1.9+Pytorch1.1的安装和测试。

参考
http://blog.csdn.net/weixin_41863685/article/details/80303963

请关注和分享↓↓↓ 

本站的知识星球(黄博的机器学习圈子)ID:92416895

目前在机器学习方向的知识星球排名第一

往期精彩回顾

### 回答1: Ubuntu 18.04深度学习环境配置需要以下步骤: 1. 安装CUDA和cuDNN:CUDA是NVIDIA的GPU加速计算平台,cuDNN是深度神经网络库。首先需要安装CUDA,然后再安装cuDNN。具体安装步骤可以参考官方文档。 2. 安装Python和相关库:Ubuntu 18.04自带Python 3,可以使用apt-get命令安装Python相关库,如numpy、scipy、matplotlib等。 3. 安装深度学习框架:常用的深度学习框架有TensorFlow、PyTorch、Keras等。可以使用pip命令安装。 4. 配置环境变量:需要将CUDA和cuDNN的路径添加到环境变量中,以便深度学习框架能够正确地使用GPU加速。 5. 测试环境:可以使用简单的深度学习模型测试环境是否配置成功。 以上是Ubuntu 18.04深度学习环境配置的基本步骤,具体操作可以参考相关文档和教程。 ### 回答2: Ubuntu18.04是许多深度学习爱好者所喜欢的一种操作系统。Ubuntu18.04不仅稳定可靠,还提供了许多强大的开发工具和编程环境。以下是一些要点和步骤,供您在Ubuntu18.04中配置深度学习环境。 1. 安装Ubuntu18.04Ubuntu18.04上安装深度学习环境之前,您需要首先安装Ubuntu18.04操作系统。您可以通过官方网站下载Ubuntu18.04的iso文件,然后将其写入可引导的USB驱动器。 2. 安装NVIDIA驱动程序 NVIDIA驱动程序是深度学习环境配置中最重要的部分,因为它可以提供针对NVIDIA GPU的支持。如何安装NVIDIA驱动程序取决于您的显卡型号。您可以通过以下命令来检查您的显卡型号: $ lspci | grep -i nvidia 如果您的显卡型号是NVIDIA Tesla V100,则可以通过以下命令来下载最新的NVIDIA驱动程序: $ wget http://us.download.nvidia.com/tesla/410.72/nvidia-diag-driver-local-repo-ubuntu1804-410.72_1.0-1_amd64.deb 在安装NVIDIA驱动程序之前,您需要卸载之前安装的任何旧版驱动程序。卸载的命令如下: $ sudo apt-get purge nvidia* 安装新的NVIDIA驱动程序: $ sudo dpkg -i nvidia-diag-driver-local-repo-ubuntu1804-410.72_1.0-1_amd64.deb $ sudo apt-key add /var/nvidia-diag-driver-local-repo-410.72/7fa2af80.pub $ sudo apt-get update $ sudo apt-get install cuda-drivers 3. 安装CUDA和cuDNN 安装了NVIDIA驱动程序后,您可以安装CUDA和cuDNN。CUDA可以为您提供各种各样的计算和优化库,用于构建深度学习模型。cuDNN是一个加速深度神经网络的库。以下是安装CUDA的步骤: $ wget https://developer.nvidia.com/compute/cuda/10.0/Prod/local_installers/cuda-repo-ubuntu1804-10-0-local-10.0.130-410.48_1.0-1_amd64 $ sudo dpkg -i cuda-repo-ubuntu1804-10-0-local-10.0.130-410.48_1.0-1_amd64.deb $ sudo apt-key add /var/cuda-repo-10-0-local-10.0.130-410.48/7fa2af80.pub $ sudo apt-get update $ sudo apt-get install cuda 安装cuDNN: $ tar -xzvf cudnn-9.0-linux-x64-v7.tgz $ sudo cp -P cuda/include/cudnn.h /usr/local/cuda-9.0/include $ sudo cp -P cuda/lib64/libcudnn* /usr/local/cuda-9.0/lib64/ $ sudo chmod a+r /usr/local/cuda-9.0/include/cudnn.h /usr/local/cuda-9.0/lib64/libcudnn* 4. 安装Python和深度学习框架 Python是深度学习环境中使用的主要编程语言。您可以使用以下命令安装Python3: $ sudo apt-get install python3 深度学习框架是实现深度学习算法和模型的库。许多流行的深度学习框架,例如TensorFlow、PyTorch和Keras,都可以在Ubuntu18.04上进行安装和配置。以下是安装TensorFlow的步骤: $ sudo apt-get install python3-pip python3-dev python-virtualenv $ virtualenv --system-site-packages tensorflow $ source tensorflow/bin/activate (tensorflow) $ pip install --upgrade pip (tensorflow) $ pip install --user tensorflow-gpu 5. 训练深度学习模型 当您完成深度学习环境的配置后,可以开始训练深度学习模型。您可以使用自己的数据集或公共数据集来训练模型。以下是使用TensorFlow训练模型的示例代码: import tensorflow as tf from tensorflow import keras (train_images, train_labels), (test_images, test_labels) = keras.datasets.mnist.load_data() train_images = train_images.astype('float32') / 255 test_images = test_images.astype('float32') / 255 model = keras.Sequential([ keras.layers.Flatten(input_shape=(28, 28)), keras.layers.Dense(128, activation='relu'), keras.layers.Dense(10, activation='softmax') ]) model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) model.fit(train_images, train_labels, epochs=5) 您可以通过运行该命令训练模型: (tensorflow) $ python train_model.py 在完成训练后,您可以通过以下命令保存模型: model.save('my_model.h5') 6. 总结 Ubuntu18.04是一种出色的操作系统,适用于深度学习环境的配置。在配置深度学习环境之前,您需要安装NVIDIA驱动程序、CUDA和cuDNN。然后,您可以安装Python和深度学习框架,例如TensorFlow。在配置完环境之后,您可以使用您自己的数据或公共数据集训练深度学习模型。 ### 回答3: Ubuntu 18.04 作为当前最流行的开源操作系统,广泛应用于深度学习领域。它提供了很好的性能和稳定性,同时也支持广泛的深度学习框架和工具库,如 Keras、TensorFlow、PyTorch 和 OpenCV 等。下面是配置 Ubuntu 18.04 深度学习环境的基本步骤: 1. 确保 Ubuntu 18.04 正确安装和升级: 首先,确保 Ubuntu 18.04 正确安装和升级到最新版本。您可以使用以下命令升级您的操作系统: sudo apt-get update sudo apt-get upgrade 2. 安装 Anaconda 3: Anaconda 是一个广泛使用的 Python 数据科学和机器学习平台,它为用户提供了方便的包管理和环境管理工具。您可以使用以下命令下载并安装 Anaconda: wget https://repo.anaconda.com/archive/Anaconda3-2019.07-Linux-x86_64.sh bash Anaconda3-2019.07-Linux-x86_64.sh 在安装过程中,按照屏幕上的提示进行操作。一旦安装完成,您需要从终端中运行以下命令将 Anaconda 添加到系统路径: export PATH=/root/anaconda3/bin:$PATH 3. 安装深度学习框架: 安装深度学习框架需要在 Anaconda 中创建一个新的虚拟环境,并安装相应的包,例如 TensorFlow 或 PyTorch。以下是以 TensorFlow 为例的样例代码: conda create -n tensorflow python=3.6 conda activate tensorflow conda install tensorflow-gpu 用类似的方式可以安装其他深度学习框架,如 PyTorch 等。 4. 安装和配置 GPU 驱动程序: 如果您的系统安装了 GPU,则需要安装相应的 GPU 驱动程序和 CUDA 工具包以获得更好的性能。以下是安装 GPU 驱动程序和 CUDA 工具包的样例代码: sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt-get update sudo apt-get install nvidia-driver-430 sudo apt install nvidia-cuda-toolkit 5. 安装图像处理库: 在深度学习中需要加载和处理图像,在 Ubuntu18.04 中可用的图像处理库包括 OpenCV 和 Pillow。以下是样例代码: conda install opencv conda install Pillow 在完成这些步骤之后,您的 Ubuntu 18.04 系统就具备了基本的深度学习环境。您可以按照框架和工具库的具体要求进行配置和设置,以进行更高级的深度学习任务。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值