`pip-tools`: 管理Python依赖的理想工具

殷蕙予

于 2024-08-13 08:24:40 发布

阅读量1k

点赞数 16

本文链接：https://blog.csdn.net/gitblog_00292/article/details/141150143

版权

pip-tools 是一套用于管理Python项目中依赖关系的工具包，尤其擅长于处理已固定的（pinned）依赖版本。它通过提供两个核心命令行工具——pip-compile 和 pip-sync—帮助开发者在开发环境中保持依赖的一致性和生产环境的高度可预测性。

pip-compile: 可以从各种形式的配置文件如 pyproject.toml, setup.cfg, setup.py, 或者 requirements.in 文件中编译出完全限定的 requirements.txt 文件。
pip-sync: 基于现有的 requirements.txt 文件，同步虚拟环境中的安装包，确保环境严格符合定义的依赖。

首先，在你的项目目录下创建一个虚拟环境：

python3 -m venv myproject_venv
source myproject_venv/bin/activate # 在Unix/Linux系统上
myproject_venv\Scripts\activate      # 在Windows系统上

接下来，你需要在该虚拟环境中安装 pip-tools:

pip install pip-tools

创建或更新你的 requirements.in 文件来列出所有未限定版本的依赖项，例如：

numpy
pandas
scikit-learn

然后运行 pip-compile 来生成对应的 requirements.txt 文件：

pip-compile --output-file requirements.txt requirements.in

这将自动生成一份带有精确版本号的 requirements.txt 文件，你可以放心地将其添加到源码库中作为部署标准之一。

一旦有了 requirements.txt 文件，你可以利用 pip-sync 来保证本地环境与文件中的依赖一致：

pip-sync requirements.txt

多环境一致性维护

假设你有两个不同的环境：开发环境（dev）和生产环境（prod）。你可以为它们分别创建并维护独立的 requirements.txt 文件。这样可以确保在不同阶段，系统依赖保持确定性，避免因依赖混乱导致的意外故障。

当重新编译依赖时，建议使用 pip-compile 的 --upgrade 参数，它可以确保列出的所有依赖都是最新版本的兼容版：

pip-compile --upgrade --output-file requirements.txt requirements.in

为了防止混淆和不必要的复杂性，应避免在 pip-sync 中使用 -r 全局参数指定要求文件路径。而应当每次明确指定具体的 requirements.txt 路径。

对于只在开发过程中使用的软件包，推荐使用 --dev 标签标记这些依赖，将其放到特定的 requirements-dev.txt 文件中，这样可以清晰区分开发依赖与生产依赖。

pip-tools 广泛应用于各种Python项目中，尤其是在那些对环境稳定性要求较高的场景下。以下是几个采用 pip-tools 进行依赖管理和构建流程优化的项目示例：

Django：Django社区大量依赖于 pip-tools 进行环境搭建，特别是在涉及多个服务的应用程序中，确保各服务间依赖的统一和纯净。
Flask：许多基于Flask的微服务架构都采用了 pip-tools，以维持轻量级且高效的服务链路。
Machine Learning Projects：在机器学习领域，数据科学家和工程师们频繁使用 pip-tools 来准备实验环境和发布模型，确保每次实验结果的可复现性。

pip-tools 不仅简化了依赖管理工作，更提升了团队间的协作效率和代码的可靠性。无论是小型初创公司还是大型企业机构，都能从中受益匪浅。