Anaconda设置CUDA版本和系统默认版本共存

最新推荐文章于 2023-12-05 15:34:55 发布
最新推荐文章于 2023-12-05 15:34:55 发布
阅读量4.1k 收藏 16
点赞数 5
分类专栏： Linux 问题与解决办法
原文链接：https://bluesmilery.github.io/blogs/a687003b/
版权

安装Anaconda

下载安装

使用该下载链接下载Anaconda安装脚本，默认Python版本是3.6.5

添加可执行权限后，执行安装

安装完一堆包之后会询问是否要添加环境变量，这里选择no，稍后再添加。然后会继续询问是否安装VSCode，选择no。此时安装完成

因为我们使用Anaconda只是作为虚拟python环境管理，不需要用到其自带的python以及相关包，所以需要将Anaconda的bin放到path后，否则系统的python会失效。所以将下面这一行添加到需要使用Anaconda账户的.bashrc文件中

1

export PATH=$PATH:/home/anaconda3/bin

source一下或者退出重新登陆

然后执行ln -s /home/anaconda3/etc/profile.d/conda.sh /etc/profile.d/conda.sh，这是为了服务器上所有用户都可以使用conda activate和conda deactivate来进入和退出虚拟环境（即source和conda都可以）

修改国内镜像仓库

因为Anaconda默认使用国外的下载地址，为了提高国内的下载速度，可以使用国内的清华镜像源或者中科大镜像源，二选一即可，执行三条命令

加入–system是配置全局的conda config。若个人账户想修改，则取消–system即可，此时在个人账户下会覆盖全局配置（类似 git config ）。个人账号相关配置会写在 ~/.condarc 里面

  • 清华Anaconda镜像
1
2
3

conda config --system --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --system --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --system --set show_channel_urls yes
  • 中科大Anaconda镜像
1
2
3

conda config --system --add channels http://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --system --add channels http://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --system --set show_channel_urls yes

创建虚拟环境

基本命令为 conda create --name XXX，–name可缩写为-n

如果在创建虚拟环境时报错（跟urls.txt或者environments.txt有关，一般是第一次使用Anaconda时会出现），参考下方一些错误部分

关于创建虚拟环境，分以下三种情况陈述

  • conda create --name test1

此时虚拟环境并不起作用，进入test1后会发现实际上使用的依旧是本机Python环境，并且在test1中使用pip安装或者删除包均是对本机环境操作

所以不要使用这种方式

  • conda create --name test2 python=X.X.X

该命令会创建一个名为test2的纯净虚拟环境，并且会安装python X.X.X版本，无其他Python包。进入test2后，使用python -V和pip -V可以看到使用的的确是该虚拟环境，并且在test2中使用pip安装或者删除包均是对该虚拟环境进行操作，不会影响本机环境

这里python的入参有多种

如果只写python，则安装的是Anaconda自带的Python版本（在这里是3.6.5）

如果是python=2或者python=3，则安装的是python2或者python3的最新版本（目前是2.7.15和3.6.5）

如果写了二级版本号，例如python=2.6或者python=3.5，则安装的是python2.6或者python3.5分支的最新版本（目前是2.6.9和3.5.5）

如果写了最小的版本号，例如python=2.7.8或者python=3.6.2，则安装的便是输入的特定版本

  • conda create --name test3 python=2.7 numpy

该命令会创建一个名为test3的纯净虚拟环境，并且会安装python2.7的最新版本，在此基础上还会额外安装numpy包。当然numpy包也可以类似Python一样指定版本，例如numpy=1.10，则会安装1.10.4版本。不指定则安装的就是最新版本。其他同上

  • conda create --name test4 numpy

该命令会创建一个名为test4的纯净虚拟环境，并且会安装Anaconda自带的Python版本（在这里是3.6.5），在此基础上还会额外安装numpy包。其他同上

启动和退出虚拟环境

  • 启动
1

source activate XXX(或者conda activate XXX)

启动成功后在命令行前会有虚拟环境的名字（XXX）

  • 退出
1

source deactivate(或者conda deactivate)

其他常用指令

查看有哪些虚拟环境：conda env list

删除虚拟环境：conda env remove -n XXX

多版本TensorFlow共存

在不同的虚拟环境中安装不同版本的TensorFlow即可。若不同版本的TensorFlow依赖的CUDA版本不同，则参照下一小节“给虚拟环境指定CUDA版本”来操作

设置全局pip源配置

进入到虚拟环境后，使用pip安装Python包的时候会发现其从原始的国外地址进行下载。有时下载速度较慢，所以我们要更新pip源为国内源

编辑 /etc/pip.conf文件（若无则创建），添加以下内容

1
2
3

[global]
trusted-host = mirrors.aliyun.com
index-url = http://mirrors.aliyun.com/pypi/simple

该方式可以进行全局pip源配置，便于服务器上所有用户均可使用。若只要某些用户使用，那么编辑的就是~/.pip/pip.conf文件

一些错误

  • NotWritableError: The current user does not have write permissions to a required path.

    path: /home/username/.conda/pkgs/urls.txt

    uid: 1001

    gid: 1002

    If you feel that permissions on this path are set incorrectly, you can manually change them by executing

    $ sudo chown 1001:1002 /home/username/.conda/pkgs/urls.txt

    In general, it’s not advisable to use ‘sudo conda’.

自己创建该文件。类似的还有 /home/username/.conda/environments.txt

给虚拟环境指定CUDA版本

处理环境变量

假设此时服务器上安装了两个CUDA版本，分别为CUDA 8.0（/usr/local/cuda-8.0）和CUDA 9.0（/usr/local/cuda-9.0），并且在本机上配置了一个版本（例如8.0）的环境变量（$CUDA_HOME, $LD_LIBRARY_PATH）。没配置更好，这里配置是为了验证切换虚拟环境时指定的CUDA版本是否发生相应的改变

首先创建一个虚拟环境，让这个虚拟环境使用CUDA 9.0的lib

1

conda create -n cuda_test python=3

然后设定启动虚拟环境以及退出时需要执行的脚本，为了使虚拟环境启动时环境变量不同于本机环境，退出时又恢复为本机环境

1
2

mkdir -p /home/username/.conda/envs/cuda_test/etc/conda/activate.d
mkdir -p /home/username/.conda/envs/cuda_test/etc/conda/deactivate.d
  • 编辑启动脚本 vim /home/username/.conda/envs/cuda_test/etc/conda/activate.d/activate.sh

输入以下内容

1
2
3
4

ORIGINAL_CUDA_HOME=$CUDA_HOME
ORIGINAL_LD_LIBRARY_PATH=$LD_LIBRARY_PATH
export CUDA_HOME=/usr/local/cuda-9.0
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH

添加执行权限 chmod +x /home/username/.conda/envs/cuda_test/etc/conda/activate.d/activate.sh

  • 编辑退出脚本 vim /home/username/.conda/envs/cuda_test/etc/conda/deactivate.d/deactivate.sh

输入以下内容

1
2
3
4

export CUDA_HOME=$ORIGINAL_CUDA_HOME
export LD_LIBRARY_PATH=$ORIGINAL_LD_LIBRARY_PATH
unset ORIGINAL_CUDA_HOME
unset ORIGINAL_LD_LIBRARY_PATH

添加执行权限 chmod +x /home/username/.conda/envs/cuda_test/etc/conda/deactivate.d/deactivate.sh

测试

首先先在本机查看环境变量 CUDA_HOME 和 LD_LIBRARY_PATH

echo $CUDA_HOME 结果为/usr/local/cuda-8.0

echo $LD_LIBRARY_PATH 结果为/usr/local/cuda-8.0/lib64

进入虚拟环境(退出重新进入测试)

1

source activate cuda_test

查看此时的环境变量

echo $CUDA_HOME 结果为/usr/local/cuda-9.0

echo $LD_LIBRARY_PATH 结果为/usr/local/cuda-9.0/lib64:/usr/local/cuda-8.0/lib64

退出虚拟环境

1

source deactivate

再次查看环境变量，会发现恢复为/usr/local/cuda-8.0和/usr/local/cuda-8.0/lib64，证明在虚拟环境中指定CUDA版本lib成功

PS：也可以通过在虚拟环境中安装1.8.0版本的tensorflow-gpu来验证，因为其必须使用CUDA 9.0才能正确import，否则会报错ImportError: libcublas.so.9.0: cannot open shared object file: No such file or directory

小结

至此，完成以上操作后，在服务器上即可达到多版本CUDA、TensorFlow共存的目的

注意事项

通过第四小节可以看到，可以通过编写虚拟环境的启动脚本和退出脚本来管理虚拟环境中的环境变量，使其启动时不同于本机环境，退出时又恢复为本机环境。但是如果需要在脚本中对PATH环境变量做改变的话，会发生一些问题——退出时没有正确恢复PATH环境变量

在对虚拟环境启动和退出的过程做了梳理后，可以有办法解决这个问题（使用上述ORIGINAL_的方式做中间转换是无法解决的）

假设启动前PATH内容为/usr/bin

启动过程：

  1. 在启动时，conda会先修改PATH，在本机PATH的前面加上/home/username/.conda/envs/cuda_test/bin: ，这是为了在虚拟环境中能够使用虚拟环境自己的Python。此时PATH内容为PATH=/home/username/.conda/envs/cuda_test/bin:/usr/bin，然后export该PATH
  2. 然后执行添加的启动脚本activate.sh。假如在其中对PATH做了添加，此时PATH内容为PATH=/xxxx/bin:/home/username/.conda/envs/cuda_test/bin:/usr/bin。进入虚拟环境中echo $PATH得到的内容也是/xxxx/bin:/home/username/.conda/envs/cuda_test/bin:/usr/bin
  3. 然后conda会将此时的PATH在某个地方备份记录一下，并且将其在第一步添加的内容删掉。也就是说这时conda会保留一个内容为/xxxx/bin:/usr/bin的PATH

退出过程：

  1. 首先执行添加的退出脚本deactivate.sh
  2. 将启动第三步存下来的PATH拿出来直接export。所以在deactivate.sh中使用ORIGINAL_的方式做恢复是无效的

当恢复到本机环境时，PATH的内容为/xxxx/bin:/usr/bin的PATH，与启动前不一样

启动过程主要执行的是/home/anaconda3/etc/profile.d/conda.sh中的_conda_activate()方法。退出过程主要执行的是/home/anaconda3/etc/profile.d/conda.sh中的_conda_deactivate()方法

目前想到的一种解决方案如下：（未尝试）

  1. 在退出脚本deactivate.sh的头部添加FIX_PATH=$CUDA_HOME
  2. 在/home/anaconda3/etc/profile.d/conda.sh的_conda_deactivate()方法中的eval "$ask_conda"之后，在PATH中正则匹配FIX_PATH的内容并将其删掉，再重新export PATH
邦戈栗子
关注
  • 5
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【02】深度学习——安装CUDA和Anaconda | coda常用命令 | Jupyter快速上手 | 安装Pytorch | Pytroch、CUDA、NVIDIA之间的关系
小浪宝宝的博客
01-30 933
CUDA全称：Compute Unified Device Architecture。显卡支持：通常是英伟达的Geforce或Quadro系列显卡。注意：根据电脑显卡驱动的版本，安装对应支持的CUDA版本。一个用于科学计算、数据分析和机器学习的Python发行版。包含了常用的科学计算、数据分析和机器学习库。通过一个简单的包管理器（conda）安装和管理。
基于B2C的网上拍卖系统_秒杀与竞价.zip
04-25
基于B2C的网上拍卖系统主要用于帮助人们应用互联网方便快捷买到自己所中意的商品，并参与到秒杀与竞拍当中。 主要功能包括： 1.前台模块 （1）普通用户登录/注册。 （2）分类查看商品(普通商品与促销商品) （3）查看商品详细信息 （4）查看秒杀商品 （5）查看竞拍商品 （6）将商品加入购物车 （7)购买，结算功能 （8）留言 2.后台模块 （1）修改密码 (2)商品管理: -- 编辑/删除 -- 设置/取消促销 （3)秒杀商品：设置/取消秒杀 （4)竞拍商品：设置/取消竞拍 （5)订单管理：查看订单 （5)留言管理：查看/删除留言 项目访问路径: 前台：http://localhost:8080/sale 后台：http://localhost:8080/sale/user/adminlogin
Anaconda和Python版本配套关系表.docx
12-24
Anaconda和Python版本配套关系表.docx
Anaconda安装cudatoolkit
01-06
背景 Win10，由于之前在anaconda上安装了pytorch，torchvision，但不知为何没有成功安装cudatoolkit(猜测应该是网络源的原因) 我的很旧的戴尔电脑GPU是GeForce 920M，但既然有还是想利用一下。 尝试 试了pytorch官网的命令，纷纷失败。最后还是在anaconda上成功安装了。 解决 参考 我在vscode新建了一个终端，conda activate激活环境，然后使用命令 conda config –add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/ c
win10+Anaconda+CUDA+CUDNN+Tensorflow-gpu+CUDA多版本共存总结
Modaa_的博客
12-05 1324
在配置不同环境时，需要不同版本的python、Pytorch、Tensorflow等，conda可以创建独立的虚拟环境，使不同环境互相独立，不受影响。用GPU跑深度学习时，不同框架和版本需要安装不同的CUDA和cudnn，不同CUDA对应有最低的显卡驱动要求。
anaconda linux安装_深度学习环境搭建、配置及使用之二（下）：深度学习必备基础环境安装...
weixin_39692037的博客
11-27 481
关注“哪儿趣”，不定时更新，选择“星标”或“置顶”，第一时间获取原创质量文章。本文大约9000字，预计阅读时间22分钟。本文链接Github：https://github.com/kangzhiheng/GitLocalDoc个人网站：https://kangzhiheng.top/post/10-服务器环境搭建、配置及使用系列文章导读：本系列文章《深度学习环境搭建、配置及使用》...
使用Anaconda 创建指定cuda 版本的虚拟环境
热门推荐
matrix273的博客
12-14 2万+
目的:解决多cuda版本共存问题. 需要了解Tensorflow 与cuda,cudnn版本的对应关系 参考网址: https://tensorflow.google.cn/install/source 首先修改anaconda 为清华源 参考网址: https://mirror.tuna.tsinghua.edu.cn/help/anaconda/ 创建一个虚拟环境 conda ...
Package | 解决 Windows10 Anaconda环境 CUDA11.5 pytorch运行报错 No CUDA runtime is found
iLOVEJohnny的博客
02-22 1万+
. 背景 在windows下使用anaconda管理多个环境（尤其用于模型训练），已成为算法工程师的一种基本技能。平时大部分时间都在用linux+docker，我也趁着这次的环境调试好好学习了一下anaconda的环境创建和管理。整体来说，anaconda的使用还是非常人性化的，具体官网请转至 all you need know about anaconda. . 环境配置 如标题所示，实验的系统环境是windows 10，系统中已安装最新的CUDA v11.5。 conda环境为python 3.7，并使
anaconda 创建多个cuda环境
wuguangbin1230的博客
08-17 1569
参考链接： 给虚拟环境指定cuda 本文重述原作者内容，主要是防止原链接丢失。 服务器上装了多个版本的cuda，有的时候需要使用TensorFlow，有的时候需要使用pytorch，有时候需要使用cuda9.0+，有的时候需要使用cuda10.0+。那么必然涉及到给每个不同的虚拟环境配上不同的cuda版本。 本文以有cuda9.0 和 cuda10.1为例，介绍如何给pytorch这个环境指定cuda10.1版本，启动环境时自动执行脚本激活cuda10.1。 1.首先激活虚拟环境 pytorch，输
如何在Ubuntu 20.04的Anaconda不同环境中安装不同的CUDA版本（2020年8月）
qysh123的专栏
08-22 5463
我觉得这个需求肯定很多朋友都有。 首先应该考虑一点：如果装了不同版本的CUDA，是不是也得装不同版本的cuDNN？我目前的结论是：为了不影响系统中本来的cuDNN，是可以不装的。按照这篇博客的介绍：https://www.cnblogs.com/laosan007/p/12612511.html “如果没有编译cuDNN的话，执行一些基于Caffe这一深度学习框架的程序速度上要慢3-5倍” 这个measurement我没有自己做过，如果目的仅仅是为了试着跑一下别人的代码，完全可以不理会cuDNN。另外
Anconda安装的pytorch依赖的cuda版本和系统cuda版本不一致问题
ROM的博客
12-23 9974
背景 1.使用Anaconda源码配置环境 2. 源码需要使用python setup.py来编译涉及cuda的拓展模块，如 nms，ROIPool，ROIAlign等等 3. 系统的CUDA和Conda装的cudatoolkit版本不同 问题 符合上述背景条件或者类似条件，会导致一些奇怪的错误，例如： ImportError: ***/ATSS/atss_core/_C.cpython-36m-...
anaconda3安装+cuda10.2+cudnn7.6.5+传虚拟环境（简洁版）
qq_49239288的博客
07-18 672
一、安装anaconda3: bash Anaconda3-2020.02-Linux-x86_64.sh 一直按enter———yes———enter———yes 重新打开终端，输入python查看是否安装成功 并添加清华镜像： conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsing
更改Ubuntu默认python版本的两种方法python- Anaconda
12-25
你可以按照以下方法使用 ls 命令来查看你的系统中都有那些 ...执行如下命令查看默认的 Python 版本信息: $ python --version Python 2.7.8 1、基于用户修改 Python 版本： 想要为某个特定用户修改 Python 版本，只
浅谈anaconda python 版本对应关系
12-16
本文的初衷是因为安装anaconda的时候你并不知道会包含哪个版本的python，因此我制作了下表 如果你使用的主要的python版本能在下表中找到，那安装对应的anaconda当然更好 但是如果你只是临时想用某个版本的python...
anaconda中更改python版本的方法步骤
09-19
主要介绍了anaconda中更改python版本的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
满意度调查行·知dr.pptx
04-25
满意度调查行·知dr.pptx
分布式系统中Java后端开发技术及其应用实践.pdf
最新发布
04-25
分布式系统的核心思想是复杂计算任务的拆分与并行计算，可有效减少计算时间、节约算力成本。以分布式系统中Java后端开发技术的应用为主题，分析分布式系统开发的需求，探讨Java技术栈、分布式监控与日志管理、云服务模型在分布式系统Java后端开发中的应用路径，旨在为分布式系统的设计与实现提供全面的理论分析和实践指导，以支持构建高效、稳定、可扩展的企业级Java应用。 随着云计算、大数据和人工智能技术的飞速发展， 分布式系统已成为支撑现代企业信息系统的基础架构。 Java 后端开发技术在构建分布式系统中扮演着至关重要的 角色，其应用价值和研究重点主要集中在微服务架构、容 器化技术、自动化部署、服务网格、无服务器计算、应用 程序编程接口（Application Programming Interface， API）管理、数据一致性解决方案、分布式缓存、负载均衡、 复杂事件处理和分布式事务管理等方面[1]。Java平台以 其成熟的生态系统、跨平台的移植性、丰富的开源框架 和库以及稳定的性能，为分布式系统的开发提供了坚实 的基础[2]。深入探讨Java后端开发技术在分布式系统中 的应用实践，旨在为企
【微信小程序毕业设计】书店系统开发项目(源码+演示视频+说明).rar
04-25
【微信小程序毕业设计】书店系统开发项目(源码+演示视频+说明).rar 【项目技术】 微信小程序开发工具+java后端+mysql 【演示视频-编号：246】 https://pan.quark.cn/s/cb634e7c02b5 【实现功能】 用户信息管理，图书信息管理，图书类型管理，图书留言管理，论坛信息管理等
使用Spring in Guice和Guice in Spring的工具（高分项目）.zip
04-25
Java SSM项目是一种使用Java语言和SSM框架（Spring + Spring MVC + MyBatis）开发的Web应用程序。SSM是一种常用的Java开发框架组合，它结合了Spring框架、Spring MVC框架和MyBatis框架的优点，能够快速构建可靠、高效的企业级应用。 1. Spring框架：Spring是一个轻量级的Java开发框架，提供了丰富的功能和模块，用于开发企业级应用。它包括IoC（Inverse of Control，控制反转）容器、AOP（Aspect-Oriented Programming，面向切面编程）等特性，可以简化开发过程、提高代码的可维护性和可测试性。 2. Spring MVC框架：Spring MVC是基于Spring框架的Web框架，用于开发Web应用程序。它采用MVC（Model-View-Controller，模型-视图-控制器）的架构模式，将应用程序分为模型层、视图层和控制器层，提供了处理请求、渲染视图和管理流程的功能。 3. MyBatis框架：MyBatis是一个持久层框架，用于与数据库进行交互。它提供了一种将数据库操作与Java对象映射起来的方式，避免了手动编写繁琐的SQL语句，并提供了事务管理和缓存等功能，简化了数据库访问的过程
anaconda查看cuda版本
10-26
在anaconda环境下查看cuda版本可以通过以下步骤实现： 1. 打开anaconda prompt或者终端 2. 输入命令：conda list cudatoolkit 3. 按下回车键后，会显示当前anaconda环境下安装的cudatoolkit版本号 另外，如果想查看...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值