【python虚拟环境管理】【mac m3】使用conda管理python项目：conda管理不同项目环境，pip下载最新的包

一. python包管理概述

1. miniforge、Miniconda与Anaconda

Anaconda vs Miniconda

---

• Anaconda 和 Miniconda 是一个公司的产品，商用是付费的，个人暂时免费；
• Anaconda = Miniconda + more packages。
  Miniconda = Python + conda，安装最小的支持包，如openssl, ncurses…
  Anaconda = Python + conda + meta package 安装至少不低于400个常见的支持包，如curl, numpy, pandas…

---

 

Miniconda vs Miniforge

---

• miniforge是由社区主导，用GitHub托管，完全免费，使用 （而且只用）conda-forge 作为（默认）下载channel，避开了Anaconda的repository，从而也就避开了商业使用被Anaconda追责的问题。

• Miniforge是由社区主导，用GitHub托管，完全免费。

---

 

channel的定义

---

conda channels (源) 是 packages 存储的位置，也即是你是从哪个来源下载这个包，对应到conda内部处理则是下载文件的链接。因为不同源会有相同名字的包，因此必须指定来源，同时安装conda的时候也会有一个默认的channel。目前主流的就是 conda-forge，齐全且更新快。如果有多个channel，他们会按顺序确定优先级，优先的源上找不到，就会到下一个优先级的源上去找。

还可以设置channel的优先级是否strict，如果是strict的话，则只会在这一个源上查找。

• Miniforge 使用conda-forge 作为默认 channel
• Miniconda 使用anaconda.org 作为默认channel。

---

 

MacOS上的支持

---

• Miniforge 比 Anaconda、Miniconda 更早支持了Apple M1芯片。在苹果官方的Tensorflow加速训练教程中也是推荐的Miniforge。

• Miniforge相比Anaconda更为灵活轻便，安装体积小、运行速度快、支持mamba、支持PyPy等。

---

 

2. conda与pip的区别是什么？

Conda 和 pip 都是 Python 的包管理工具，但它们有一些区别，主要体现在以下几个方面：

1. 包管理范围：

• pip：是 Python 的默认包管理器，主要用于安装和管理 Python 包（也称为模块或库），这些包通常发布在 Python Package Index（PyPI）上。
• Conda：是一个跨平台的包管理器和环境管理器，不仅可以管理 Python 包，还可以管理任何语言的软件包。

2. 环境管理：

• pip：虽然可以安装和管理 Python 包，但本身并没有直接提供环境管理的功能。通常需要结合 virtualenv 或者 venv 等工具来创建和管理虚拟环境。
• Conda：除了包管理外，还具有强大的环境管理功能。Conda 可以创建、导出、复制和删除环境，允许用户在不同的项目中使用不同版本的软件包及其依赖项。

 

总结

• conda的优势：包之间严格的依赖检查；是一个超越Python的环境管理器，可以创建多个环境，环境之间互相隔离；
• pip的优势：绝大多数包优先发布到pip上，安装方便，群众基础好。

 
如果需要多个python环境，最好使用conda，因为它可以做创建多个py虚拟环境，互不影响（不同的项目依赖的python 包版本不一致）。

 

3. pip与conda配合使用

pip不像conda一样，它不知道环境，我们首先要确保我们用的是本环境的pip，这样pip install时，包才会创建到本环境中。

用下面命令查看我们此时用的pip为哪个环境：

which -a pip

# macos
whereis pip
# pip: /Users/lianggao/miniforge3/envs/pp/bin/pip

当我们自己创建的conda环境里没有pip，此时进入自己的conda环境也会默认用base环境的pip，这就需要将pip安装入本环境。（尽量不要使用base的pip在其他环境装包，这样也会装在base环境中，有产生版本冲突的可能。）

 
在conda环境安装pip使用如下命令：

#（进入环境后）
conda install pip

用conda list查看此时python环境安装的包。

 

二. 使用conda管理不同py环境

1. 创建一个环境

# 创建环境，
conda create --name myenv python=3.8

conda activate myenv

python3 --version

## 安装包命令
conda install numpy pandas matplotlib

python3 -m pip install ...


arch -arm64 zsh

2. 解决冲突

The conflict is caused by:
    paddlepaddle 2.6.1 depends on protobuf>=3.20.2; platform_system != "Windows"
    paddlepaddle 2.6.0 depends on protobuf>=3.20.2; platform_system != "Windows"
。。。

  

To fix this you could try to:

1. loosen the range of package versions you've specified
2. remove package versions to allow pip attempt to solve the dependency conflict

ERROR: ResolutionImpossible: for help visit https://pip.pypa.io/en/latest/topics/dependency-resolution/#dealing-with-dependency-conflicts

放宽版本要求：

如果你的项目允许，可以尝试放宽对 protobuf 的版本要求。例如，将 <=3.20.0, >=3.1.0 改为 >=3.1.0。这将让 pip 更有可能找到一个满足条件的版本，并解决依赖冲突。

python3 -m  pip install "protobuf>=3.20.2; platform_system != 'Windows'"

 

三. 命令合集

1. conda

1.1. 常用

conda create --name myenv python=3.8
# 激活环境
conda activate ppfast

# 推出当前环境
conda deactivate

# 查看当前环境所依赖的包
conda list

# 激活conda 环境后pip命令就可以使用了。一般这样使用：
python3 -m pip install xxx



# 修改conda的python版本
conda install python=3.10

# 查看拥有的环境
conda info --envs

 

1.2. 环境管理

##创建环境
conda create --name your_env_name


##创建制定python版本的环境
conda create --name your_env_name python=2.7

##创建包含某些包的环境
conda create --name your_env_name numpy scipy

##创建指定python版本下包含某些包的环境
conda create --name your_env_name python=3.5 numpy scipy

##列举当前所有环境
conda info --envs
## 列举当前环境下所有包
conda env list

## 进入某个环境
activate your_env_name

## 退出当前环境
deactivate 

## 复制某个环境
conda create --name new_env_name --clone old_env_name 

## 删除某个环境
conda remove --name your_env_name --all

 

1.3. 包管理

# 列举当前活跃环境下的所有包
conda list

# 列举一个非当前活跃环境下的所有包
conda list -n your_env_name

# 为指定环境安装某个包
conda install -n env_name package_name

 

1.4. pip生成requirements.txt

# 生成requirements文件:不建议，生成较为混乱
pip freeze > requirements.txt

# 推荐
# 先下载pipreqs
pip install pipreqs
# 然后使用命令：覆盖生成
pipreqs . --encoding=utf8 --force

 

2. 依赖没有在conda源内时，使用pip

如果不能通过conda install来安装，可以直接用pip直接安装。

# 使用pip前查看
#pip的安装目录是否是在当前环境下
whereis pip

#pip安装项目依赖
pip install -r requirements.txt

# 查看当前环境所依赖的包
conda list

 

3. 下载安装项目依赖

除了使用pip命令来安装requirement.txt依赖，也可以使用conda命令来安装。

conda install --yes --file requirements.txt

如果conda下载不了，则使用pip下载

while read requirement; do conda install --yes $requirement || pip install $requirement; done < requirements.txt

 

将依赖生成文件

# Export to .yml file
conda env export > freeze.yml

# To reproduce:
conda env create -f freeze.yml

 
 
 

参考：

https://stackoverflow.com/questions/35802939/install-only-available-packages-using-conda-install-yes-file-requirements-t