ubuntu18.04从零搭建深度学习环境


很多人对于深度学习刚开始报以很大的热情,但是通常会花 非常多的时间在环境的搭建上,而且自己电脑里装了很多的版本的包,最后都不知道用的哪个环境跑通了,对于一个 new project又得重新搭建。
为了自己以后重装系统后快速恢复和刚入手ubuntu18.04的人,可以看一下以下的 经验总结(本人两年来的经验,保证稳定):
如果你愿意尝试docker镜像的话,那样会更便捷,可以看我的 这篇博客

1、装ubuntu18.04

这一点就不用多说了,只要注意:

  • 可以在装系统的这步就可以进BIOS把Secure Boot Disabled禁用了
  • 验证系统安装正常就是:在ubuntu18.04装好提示你重启的时候,这时候屏幕上没有任何异常的信息跳出来

2、给系统换源

这样的好处是你会感觉更新一些包的速度会非常快

找到Software & Updates,将源更新为阿里云的源,如下图:
更换Software源
在Other Software里将Canonical Partners勾上,如下图:
将Canonical Partners勾上
然后不要忘记更新:

sudo apt update
sudo apt upgrade

3、安装NVIDIA显卡驱动

2021年6月22日更新:这里安装的时候不要安装full的,可以安装headless的,具体请见我的博客:
ubuntu18.04 让独显全部用于运算
这一步是必备项(虽然在安装cuda的时候会提示你是否 Install NVIDIA Accelerated Graphics Driver
,但是一般都是这样安装),也是很多人容易安崩的阶段,下面是我收藏的屡试不爽的方法:
Ubuntu 18.04 安装NVIDIA驱动

  • 建议在ubuntu-drivers devices后一步选择推荐驱动版本
  • 然后这篇教程只要看到nvidia-smi后输出类似下面的就可以了:

nvidia-smi输出界面

4、安装cuda和cudnn

这一篇是我收藏的高质量的安装cuda和cudnn的博客:Ubuntu18.04安装CUDA10、CUDNN,另外还有几点要注意的:

  • 尽量安装cuda10.0的,9系列的有些深度学习框架高版本就不支持了
  • 在STEP3中,只在终端里export是当前会话有效,可以gedit ~/.bashrc进行修改,不要忘记source ~/.bashrc
  • 建议local本地安装,这样以后不用在线又耗流量下载(补丁.run文件就是同样方法下载安装)
  • 我个人使用较多的是cuda10.0+cudnn7.4.2,可以使用nvcc -V来查看cuda版本
  • 其实现在安装cuda10.1+cudnn7.6.5也可以了,毕竟对于cuda10.0,pytorch最高支持到1.4,也就是说想要使用更高版本的最好安装cuda10.1的了(安装过程中会有一些与cuda10.0不同的地方)
  • cuda11.x+ for RTX30 series (must be!) see another blog

真烦,推荐的两个链接都改成VIP文章了,现在把关键的几步命令在下面备份一下:

# 注意,cuda11.6没记错之后就不在cuda里面内置samples了,所以不能samples/1_Utilities/deviceQuery去验证了
# 下面是解压完cudnn后的复制和改权限
sudo cp -d cuda/include/cudnn*.h /usr/local/cuda/include
sudo cp -d cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*
# 查看cudnn版本
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2  # 7.6以前
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2  # 8.0以后

5、安装Anaconda3

Anaconda3自然不用多说,可以很方便的创建虚拟环境,隔离不同项目所需的运行环境。
miniconda download site
一般也是下载.sh文件来安装,下面这篇收藏的博客说明了:anaconda python 版本对应关系,并且有anacnda的下载地址。总结一下就是:

  • 现在都以python3.6或者3.7环境居多(不建议用python3.8环境),所以只要分别下Anaconda3-5.2.0-Linux-x86_64.shAnaconda3-5.3.0-Linux-x86_64.sh就行,更多版本见表格
  • 然后bash ./Anaconda××××××××××××××××××.sh就可以了
  • 在安装过程中会提示是否要把Anaconda写进环境变量里,写入的话终端输入python就会进入anaconda的python环境,而不写入的话,终端输入python3就是进入系统自带的python环境
  • 我个人不喜欢写入环境变量,我会运行以下命令:然后输入conda activate进入base虚拟环境
gedit ~/.bashrc
. /home/lz/anaconda3/etc/profile.d/conda.sh
source ~/.bashrc
  • 虽然很多人会建议进行conda换源,但是我发现使用过程中conda包管理会使python版本也有可能升级,所以之后我一直使用pip来安装包(如果你想换或者改回原来的源,这里有一篇高质量的博客:anaconda 1,添加清华镜像 2,改回原始源

6、pip换源

这个换完源之后的速度简直就是天差地别:
在主目录下创建.pip文件夹,然后在该目录下创建pip.conf文件:

mkdir ~/.pip
gedit ~/.pip/pip.conf

pip.conf文件编写如下内容(更换为清华大学镜像源):

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple 

保存退出就生效了。

7、安装PyTorch gpu版本

这里不会有人安CPU版本的吧-_-
这里我不建议按照官网里的一句话安装,如:

conda install pytorch torchvision cudatoolkit=10.0 -c pytorch

或者你把后面的-c pytorch去掉改用清华的conda源下速度可能更快点,都不是我自己喜爱的方法。
我的方法是通过pip安装:
在这里插入图片描述
对于cuda10.0的就可以去:https://download.pytorch.org/whl/cu100/torch_stable.html
更多其他版本搭配可见这里:https://download.pytorch.org/whl/torch_stable.html
下载对应版本的torch.whl和torchvision.whl(版本匹配可看下图):现在推荐使用torch 1.3+的版本
在这里插入图片描述

比如你下的是torch-1.3.0%2Bcu100-cp36-cp36m-linux_x86_64.whl(代表torch1.3.0版本,python3.6环境,linux 64位系统)和torchvision-0.4.1%2Bcu100-cp36-cp36m-linux_x86_64.whl,然后只要在conda激活的环境下使用:

pip install torch-1.3.0%2Bcu100-cp36-cp36m-linux_x86_64.whl
pip install torchvision-0.4.1%2Bcu100-cp36-cp36m-linux_x86_64.whl

就可以很快的安装上PyTorch gpu版本啦(whl文件可以存在移动硬盘上,下次安装就不用下载了)

8、安装pycharm

对应python最好用的IDE当然是pycharm啦,最新版本还支持鼠标停留显示文档,对于看代码特别方便:
推荐一篇收藏的高质量博客:Ubuntu 18.04 安装 PyCharm

当然激活那一步,我使用的是学生激活,所以是正版专业版啦(可以阅读jupyter notebook)

至此就可以安装完深度学习基本的环境啦~~~~经验总结,值得收藏哦!

  • 5
    点赞
  • 73
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
### 回答1: Ubuntu 18.04深度学习环境搭建需要以下步骤: 1. 安装CUDA和cuDNN:CUDA是NVIDIA提供的用于GPU加速的并行计算平台,cuDNN是NVIDIA提供的用于深度学习的GPU加速库。可以从NVIDIA官网下载对应版本的CUDA和cuDNN,并按照官方文档进行安装。 2. 安装Anaconda:Anaconda是一个Python发行版,包含了许多常用的科学计算库和工具。可以从Anaconda官网下载对应版本的安装包,并按照官方文档进行安装。 3. 创建虚拟环境:可以使用conda命令创建一个新的虚拟环境,例如: ``` conda create --name env_name python=3.6 ``` 这将创建一个名为env_name的虚拟环境,并安装Python 3.6。 4. 安装深度学习框架:可以使用conda命令安装常用的深度学习框架,例如TensorFlow、PyTorch、Keras等,例如: ``` conda install tensorflow-gpu ``` 这将安装TensorFlow GPU版本。 5. 安装其他依赖库:根据需要安装其他依赖库,例如numpy、scipy、matplotlib等。 完成以上步骤后,就可以在虚拟环境中进行深度学习开发了。 ### 回答2: Ubuntu 18.04是一种非常优秀的开源操作系统,尤其适用于深度学习环境搭建。在本文中,我们将为大家详细介绍在Ubuntu 18.04上如何搭建深度学习环境。 首先,我们需要安装Ubuntu 18.04操作系统。我们建议下载官方镜像进行安装。 安装完毕后,我们需要安装CUDA(NVIDIA计算统一设备架构)和cuDNN(NVIDIA深度神经网络)。以下是安装步骤: 1. 安装Cuda Toolkit 我们可以通过官网直接下载tar文件进行安装: $ wget https://developer.download.nvidia.com/compute/cuda/10.0/secure/Prod/local_installers/cuda_10.0.130_410.48_linux.run $ sudo sh cuda_10.0.130_410.48_linux.run 在安装过程中会有多项选择,我们建议选择默认选项并自定义CUDA的安装位置。 安装完成后,我们需要将CUDA添加到环境变量中。打开终端,运行以下命令: $ sudo gedit ~/.bashrc 在打开的文件的末尾添加以下代码: export PATH=/usr/local/cuda/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH 保存文件,然后运行以下命令以使配置生效: $ source ~/.bashrc 2. 安装cuDNN cuDNN是用于加速深度学习的库,我们可以在NVIDIA的官网上下载。请注意,您需要注册才能下载库。 下载后将压缩包解压缩,并将文件复制到CUDA的安装目录中: $ tar -xzvf cudnn-10.0-linux-x64-v7.4.2.24.tgz $ cd cuda $ sudo cp include/cudnn.h /usr/local/cuda/include $ sudo cp lib64/libcudnn* /usr/local/cuda/lib64 $ sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn* 3. 安装Anaconda Anaconda是一个强大的Python包管理器,可以轻松管理Python和相关库的版本。我们可以通过官方网站下载并安装Anaconda。 安装完成后,打开终端,输入以下命令以检查是否安装成功: $ conda list 如果显示了安装包列表,则说明安装成功。 4. 创建虚拟环境 为了避免不同的Python库版本之间的冲突,我们建议使用虚拟环境进行开发。使用以下命令创建一个名为env的虚拟环境: $ conda create -n env python=3.7 此命令将创建一个名为env的虚拟环境,并将Python版本设置为3.7。 5. 安装所需的Python库 安装深度学习需要的Python库非常重要,以下是必要库的清单: $ conda install -n env numpy matplotlib pandas jupyter scikit-learn tensorflow-gpu keras 请注意,虽然我们使用了tensorflow-gpu库,但这意味着你需要一张NVIDIA GPU显卡并正确设置CUDA和cuDNN。 如果您的电脑没有NVIDIA GPU显卡,则不需要安装tensorflow-gpu库。 6. 使用Jupyter Jupyter是一个非常好的交互式开发环境,我们建议在虚拟环境中安装jupyter。输入以下命令: $ conda install -n env jupyter 然后输入以下命令启动jupyter: $ jupyter notebook 最后,您将能够成功地在Ubuntu 18.04上搭建深度学习环境并开始进行深度学习开发。 ### 回答3: 深度学习是当今热门的领域之一,如果要在Ubuntu 18.04上搭建深度学习环境,需要以下几个步骤: 1. 安装 NVIDIA 显卡驱动 要在Ubuntu上使用深度学习,必须安装视频和GPU驱动程序。相比于CPU,在GPU上训练深度学习模型要快很多,因此推荐使用Nvidia GPU。 首先你需要下载并安装NVIDIA的驱动程序,可以使用下面的命令查看可用的版本: ``` ubuntu-drivers devices ``` 选择最新版本的驱动程序(如果你的GPU是较旧的版本,可以考虑选择旧版本的驱动程序)并安装: ``` sudo apt install nvidia-driver-<version> ``` 2. 安装CUDA和cuDNN CUDA和cuDNN是与NVIDIA GPU兼容的深度学习框架。CUDA为GPU提供并行计算解决方案,cuDNN用于优化深度学习模型的性能。 可以使用以下命令安装CUDA: ``` sudo apt install nvidia-cuda-toolkit ``` 对于cuDNN,需要先从Nvidia开发者网站下载相对应的cuDNN版本,解压并将文件复制到/usr/local/cuda/路径下: ``` sudo cp <path_to_downloaded_file>/libcudnn* /usr/local/cuda/include/ sudo cp <path_to_downloaded_file>/libcudnn* /usr/local/cuda/lib64/ ``` 3. 配置Anaconda Anaconda是一个包含许多用于深度学习的科学计算库的平台,因此我们需要安装Anaconda。 首先从Anaconda官网下载适用于Ubuntu的Anaconda安装包,然后运行以下命令来安装: ``` bash Anaconda<version>-Linux-x86_64.sh ``` 4. 创建虚拟环境 为了保持深度学习环境的干净和整洁,我们将在Anaconda上创建虚拟环境并在其中安装所有必要的包。 使用以下命令创建具有Python3的新虚拟环境: ``` conda create --name <env_name> python=3.6 ``` 处于安全起见,我们建议使用Python3.6来进行深度学习。 使用以下命令激活虚拟环境: ``` conda activate <env_name> ``` 5. 安装深度学习框架 在虚拟环境中使用以下命令安装需要的深度学习框架,如Tensorflow、Keras、PyTorch 等等: ``` conda install tensorflow keras pytorch torchvision -c pytorch ``` 最后,您已成功地在Ubuntu 18.04上搭建深度学习环境。现在您可以使用Python和相应的深度学习框架,从而开始探索深度学习的奇妙世界。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

laizi_laizi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值