计算机内用新的conda 环境迁移以及手工安装pybedtoolsconda 打包环境

qq_39306047

已于 2022-11-13 16:33:59 修改

阅读量1k

点赞数

分类专栏： R 文章标签： conda python linux

于 2022-11-12 22:39:52 首次发布

本文链接：https://blog.csdn.net/qq_39306047/article/details/127826682

版权

R 专栏收录该内容

52 篇文章 6 订阅

订阅专栏

计算机内用新的conda 环境迁移以及手工安装pybedtools，conda 打包环境

scnym_env /opt/conda/envs/scnym_env
th /opt/conda/envs/th
/root/miniconda3

(R6) root@0b5003cae16c:/opt/conda/envs# conda activate R61
(R61) root@0b5003cae16c:/opt/conda/envs# python
Python 3.10.6 | packaged by conda-forge | (main, Aug 22 2022, 20:36:39) [GCC 10.4.0] on linux
Type “help”, “copyright”, “credits” or “license” for more information.

q()
Traceback (most recent call last):
File “”, line 1, in
NameError: name ‘q’ is not defined
eixt()
Traceback (most recent call last):
File “”, line 1, in
NameError: name ‘eixt’ is not defined
exit()
(R61) root@0b5003cae16c:/opt/conda/envs# R

R version 4.1.3 (2022-03-10) – “One Push-Up”
Copyright © 2022 The R Foundation for Statistical Computing
Platform: x86_64-conda-linux-gnu (64-bit)

R is free software and comes with ABSOLUTELY NO WARRANTY.
You are welcome to redistribute it under certain conditions.
Type ‘license()’ or ‘licence()’ for distribution details.

R is a collaborative project with many contributors.
Type ‘contributors()’ for more information and
‘citation()’ on how to cite R or R packages in publications.

Type ‘demo()’ for some demos, ‘help()’ for on-line help, or
‘help.start()’ for an HTML browser interface to help.
Type ‘q()’ to quit R.

q()
Save workspace image? [y/n/c]: n
(R61) root@0b5003cae16c:/opt/conda/envs#
(R61) root@0b5003cae16c:/opt/conda/envs#
(R61) root@0b5003cae16c:/opt/conda/envs#
(R61) root@0b5003cae16c:/opt/conda/envs# conda activate R6
(R6) root@0b5003cae16c:/opt/conda/envs#

Install development version via github
Assumptions:

git is installed

Cython is installed (conda install cython or pip install cython)

The following commands will clone the repository … code-block:: bash

git clone https://github.com/daler/pybedtools.git cd pybedtools

The only time the C++ files will be rebuilt from Cython .pyx source is if the cythonize subcommand is used. To rebuild the C++ files using Cython, run:

python setup.py cythonize
To install in develop mode, where changes to Python files will be picked up without having to re-install, use:

python setup.py develop
The above will not update when the .pyx files are updated, so if the Cython source files have been changed, run:

python setup.py cythonize develop
See python setup.py --usage for more information.

Quick test
Paste the following into a new file called mytest.py:

import pybedtools

conda 打包环境

conda环境迁移
需求：本机环境迁移到服务器，方便在服务器上训练、测试大批量的数据。

方法一：
参考：conda环境从一个服务器迁移到另一个服务器

安装打包工具
conda install -c conda-forge conda-pack
1
打包本地conda环境
conda pack -n 环境名称 -o 环境名称.tar.gz
1
上传环境文件到服务器上
mkdir -p learning3d
tar -xzf learning.tar.gz
1
2
激活环境即可
conda info -e
conda activate learnig3d
1
2
mkdir -p /opt/conda/envs/DEP2
/opt/conda/envs/DEP2# tar -xzf DEP2_pack.tar.gz

其实移植的方法跟上面clone是一样的，方法是你将你要移植的环境复制到U盘中，然后拷贝到另一台设备上，接着使用命令：

conda create -n BBB --clone ~/path # ~/path 是拷贝过来的环境文件夹放置的位置 ###这个没必要2

Collecting package metadata (current_repodata.json): done
Solving environment: |
The environment is inconsistent, please check the package plan carefully
The following packages are causing the inconsistency:

https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/noarch::r-lambda.r==1.2.4=r41hc72bb7e_1
https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/linux-64::jedi==0.18.1=py37h89c1867_1

conda update --all --force

WARNING: The --force flag will be removed in a future conda release.
See ‘conda update --help’ for details about the --force-reinstall
and --clobber flags.
Collecting package metadata (current_repodata.json): done

conda install --force 包
我已经尝试过conda install anaconda和 conda conda update --all但似乎没有任何效果，它们都会导致相同的错误：

第一 conda clean --all
第二 conda update -n base conda
没有解决问题，如果可以的话conda uninstall inconsistent的包，最后的问题是mpi4py的安装，最好不要直接安装，先安装openmpi,然后再安装mpi4py,这样就是openmpi下的mpi4py. 安装源都用conda-forge 最简单，但是可能会很慢。

方法二：
该方案在实际使用过程中，并不顺利，安装requirements时候，会提示依赖包各种版本不匹配。

本机conda环境包、pip包导出
conda 包导出xx.yaml
conda env export > 文件路径/文件名称.yaml

例如，导出xx.yaml文件为例：

conda env export > /home/xx.yaml
1
2
3
pip 包导出requirements.txt
pip freeze > 文件路径/文件名称.txt

例如, 以导出到/home下的example.yaml文件为例：

pip freeze > /home/example.txt
1
2
3

2.服务器conda环境导入、pip包导入
创建conda环境
conda env create -f 文件

例如，上面生成的example.yaml文件，将其复制到目标机上后执行：

conda env create -f /home/example.yaml
1
2
3
安装依赖项
pip install -r requirements.txt
1

注意：
在服务器环境下不需要提前新建环境，否则在创建conda环境时，会提示已经重复命名，错误如下:

CondaValueError: prefix already exists: /opt/conda/envs/learning3d
1
出现此问题后，可以先删除提前建立好的conda环境，如下：

conda env remove -n learning3d
————————————————
版权声明：本文为CSDN博主「Darchan」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_36354875/article/details/125514421

安装conda环境和包的各种技巧记录

Yee_Ko

于 2020-10-30 16:38:17 发布

1533
收藏 3
分类专栏：玩转电脑
版权

玩转电脑
专栏收录该内容
5 篇文章0 订阅
订阅专栏
技巧清单
查询已有的conda环境
创建conda新环境
删除conda环境
重命名conda环境
不同计算机之间的conda环境移植
conda环境中安装各种包的一些技巧
指定国内源
下载包资源后手动安装
安装pycocotools
查询已有的conda环境
conda info -e
1
创建conda新环境

意思就是创建一个python版本为3.7，且名为env_name的conda新环境

conda create -n env_name python=3.7

创建好新环境后，后续需要在这个环境中安装各种计算包，因此需要先激活该环境

source activate env_name
1
2
3
4
删除conda环境
conda remove -n env_name --all
1
重命名conda环境
conda其实并没有提供重命名的命令，就跟bash一样，因此重命名的方法是：先clone得到一个所要名字的环境，再删除旧环境

conda create -n new_env_name --clone old_env_name
conda remove -n old_env_name --all
1
2
不同计算机之间的conda环境移植
不得不说，装开发环境是一个令人头大的事情，各种问题层出不穷，要么是版本不对，要么网络有问题……（这篇文章就是在我为了装一个深度学习模型的环境花了接近一天时间各种斗智斗勇后写的，真是令人頭秃！！！）

因此要是之前已经装好的环境能够移植到另一台计算机或者服务器上该有多好呀～（其实现在有docker技术，应该可以做到这点，后面我研究研究）

其实移植的方法跟上面clone是一样的，方法是你将你要移植的环境复制到U盘中，然后拷贝到另一台设备上，接着使用命令：

conda create -n BBB --clone ~/path # ~/path 是拷贝过来的环境文件夹放置的位置
1
就直接一步安装了所有的包，完成了环境的移植。
原来的电脑上的环境的地址可以用 conda info -e 查询到。

但是注意有个小的问题：
移植过来的环境只是安装了你原来环境里用 conda install 等命令直接安装的包，你用pip之类装的东西没有移植过来，需要你重新安装。

说明一下：这个方法是参考这篇博客的，不过我记得之前师兄也这样操作过，应该是可以的。

conda环境中安装各种包的一些技巧
指定国内源
直接使用命令 pip install 或者 conda install 默认使用的是服务器在国外的源，速度会很慢，一旦网络有点小问题安装过程就会终止，这对于要安装 torch 这样的庞然大物来说特别痛苦，因此可以在这些命令后面指定国内源，例如清华源：

pip install torch==1.4.0 -i https://pypi.tuna.tsinghua.edu.cn/simple/
1
下载包资源后手动安装
如果在安装一些包例如 torchvision-0.5.0 时候，终端输出提示找不到对应的版本，可以到清华源网站下载后自己手动安装，清华源的地址在这里。

下载完成后，使用以下命令进行安装：

conda install --use-local　torchvision-0.5.0-py36_cu101.tar.bz2
1
安装pycocotools
安装其他的包，用上面的方法基本都能解决，就是在安装这个 pycocotools 的时候行不通，反复尝试网上各种解决方法后终于找到一个成功安装的教程，这里必须记录一下：ubuntu、anaconda虚拟环境中安装pycocotools。
————————————————
版权声明：本文为CSDN博主「Yee_Ko」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/gaoyi135/article/details/109387035