【新】使用setuptools打包Python项目

已于 2022-11-01 16:42:21 修改
阅读量2k 收藏 4
点赞数
分类专栏： python 文章标签： python setuptools pyproject.toml wheel
于 2022-11-01 16:40:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ylhlly/article/details/127636162
版权

如何使用setuptools打包Python项目

pypi 官网给出了4个打包 whl 格式的工具：Hatchling、setuptools、Flit、PDM。

初步了解了一下，还是用 setuptools 。

本文主要内容包括：pyproject.toml 的简单配置、使用 python -m build 打包、使用 cython 编译模块、生成命令等内容。

本文仅为学习经验，深入学习请参考官方文档。

一、准备

安装 setuptools 和 build

pip install --upgrade setuptools    # 65.5.0
# 安装 build 以可以运行命令: python -m build
pip install --upgrade build    # 0.9.0

二、项目结构

以名为 pypackage 的项目为例（src 结构）

pypackage/
├── LICENSE           # LICENSE
├── pyproject.toml    # 项目配置信息
├── README.md         # 自述文件
├── src               # 源码 
│   └── pypackage
│       ├── __init__.py
│       └── __main.py
└── tests             # 相关的测试
    └── test_main.py

还有另一种结构（flat 结构）

pypackage/
├── LICENSE           # LICENSE
├── pyproject.toml    # 项目配置信息
├── README.md         # 自述文件
│── pypackage         # 名字为项目名
│   ├── __init__.py
│   └── __main.py
└── tests             # 相关的测试
    └── test_main.py

setuptools 具有自动检测项目代码目录的功能。另外需要说明的是，使用 src-layout 的形式时，会添加 src 下的所有目录，建议 src 下只保留一个与项目名同名的目录

三、简单打包

3.1 文件内容

src/pypackage/__init__.py

from .__main import say_hello

src/pypackage/__main.py

def say_hello(name: str):
    __private_say(name)

def __private_say(name: str):
    print(f"private say: Hello, {name}!")

tests/test_main.py

TEST_RELEASE = True
if not TEST_RELEASE:
    import sys
    import pathlib
    root_dir = pathlib.Path(__file__).absolute().parent.parent
    sys.path.insert(0, str(root_dir.joinpath("src")))

# using pytest
def test_hello():
    import pypackage 
    pypackage.say_hello("yluuu")

pyproject.toml

[build-system]
requires = ["setuptools"]
build-backend = "setuptools.build_meta"

[project]
name = "pypackage"
version = "0.0.1"
dependencies = [
    "requests",
    "rtoml; python_version<'3.8'",
]

3.2 打包项目

默认情况会根据依赖包创建一个隔离的虚拟环境来打包，但我是离线环境，所以不能用这种方式，需要添加 --no-isolation 选项

python -m build --no-isolation

打包如果成功会提示：Successfully built pypackage-0.0.1.tar.gz and pypackage-0.0.1-py3-none-any.whl，共生成了两个文件

3.3 安装测试

使用 pip 安装 whl 文件，查看安装目录 ~/miniconda3/lib/python3.7/site-packages/pypackage

-rw-rw-r--  1 yl yl   30 10月 31 08:19 __init__.py
-rw-rw-r--  1 yl yl  124 10月 31 08:19 __main.py
drwxrwxr-x  2 yl yl 4.0K 10月 31 08:19 __pycache__

在项目根目录下直接运行 pytest 命令，测试没有问题

 ~/test/pypackage ----------------- base py | yl@jisuan01 | 08:30:28 
> pytest
======================== test session starts =========================
platform linux -- Python 3.7.13, pytest-7.2.0, pluggy-1.0.0
rootdir: /home/yl/test/pypackage
collected 1 item                                                     

tests/test_main.py .                                           [100%]

========================= 1 passed in 0.01s ==========================

四、自定义打包

4.1 添加子模块

setuptools 有自动发现的功能：对于常用的两种项目形式(src-layout、flat-layout)，setuptools 可以自动扫描并发现代码目录。

添加文件 src/pypackage/lib1/mod1.py

def func1():
    return 1

添加文件 src/pypackage/lib2/mod2.py

def func2():
    return 2

src 及 项目下的模块均可以自动被添加

adding 'pypackage/__init__.py'
adding 'pypackage/__main.py'
adding 'pypackage/lib1/mod1.py'    # 自动添加了
adding 'pypackage/lib2/mod2.py'    # 自动添加了
adding 'pypackage-0.0.1.dist-info/LICENSE'
adding 'pypackage-0.0.1.dist-info/METADATA'
adding 'pypackage-0.0.1.dist-info/WHEEL'
adding 'pypackage-0.0.1.dist-info/top_level.txt'
adding 'pypackage-0.0.1.dist-info/RECORD'

更多请参考: https://setuptools.pypa.io/en/latest/userguide/package_discovery.html

4.2 只生成 whl

添加选项 --wheel 即可

python -m build --no-isolation --wheel

4.3 包含/排除数据

如 添加 keep.parquet 排除 exclude.txt

pypackage/
├── ...
│── src
│   └── pypackage
│       ├── __init__.py
│       ├── __main.py
│       └── data 
│           ├── keep.parquet
│           └── exclude.txt
└── ...

在 pyproject.toml 添加

[tool.setuptools]
include-package-data = true

[tool.setuptools.package-data]
pypackage = ["data/*.parquet"]

[tool.setuptools.exclude-package-data]
pypackage = ["data/*.txt"]

其实 include-package-data 默认就是 true 的

打包记录

adding 'pypackage/__init__.py'
adding 'pypackage/__main.py'
adding 'pypackage/data/keep.parquet'    # 这里
adding 'pypackage/lib1/mod1.py'
adding 'pypackage/lib2/mod2.py'
adding 'pypackage-0.0.1.dist-info/LICENSE'
adding 'pypackage-0.0.1.dist-info/METADATA'
adding 'pypackage-0.0.1.dist-info/WHEEL'
adding 'pypackage-0.0.1.dist-info/top_level.txt'
adding 'pypackage-0.0.1.dist-info/RECORD'

更多请参考: https://setuptools.pypa.io/en/latest/userguide/datafiles.html

4.4 编译模块

使用 cython

pip install cython --upgrade

创建 setup.py

# 方式一：按 setuptools 文档，使用 Extension 类，使用 cython 编译时无法设置 language_level TODO 待解决
# from setuptools import setup, Extension

# setup(
#     ext_modules=[
#         Extension(
#             name="pypackage.lib1.mod1",
#             sources=["src/pypackage/lib1/mod1.pyx"],
#         )
#     ]
# )

# 方式二：直接调用 cython，可以设置 language_level
# 备注: 子模块尽量添加 __init__.py 以确保编译后的库文件可以正常打包到子模块中。
from setuptools import setup
from Cython.Build import cythonize

setup(
    ext_modules=cythonize(module_list=[
        "src/pypackage/lib1/mod1.pyx"
    ], language_level=3)
)

另外在 pyproject.toml 中排除 c 文件打包

[tool.setuptools.exclude-package-data]
pypackage = ["info/*.txt"]
"pypackage.lib1" = ["*.c"]

将 src/pypackage/lib1/mod1.py 重命名为 src/pypackage/lib1/mod1.pyx，并在 src/pypackage/lib1 下添加 __init__.py 文件

然后使用 python -m build 时会自动调用 setup.py 生成库文件并打包

单独编译模块时运行 python setup.py build_ext

备注：测试过程中的坑，都在上面的注释里了

adding 'pypackage/__init__.py'
adding 'pypackage/__main.py'
adding 'pypackage/info/keep.parquet'
adding 'pypackage/lib1/__init__.py'
adding 'pypackage/lib1/mod1.cpython-37m-x86_64-linux-gnu.so'
adding 'pypackage/lib2/mod2.py'
adding 'pypackage-0.0.1.dist-info/LICENSE'
adding 'pypackage-0.0.1.dist-info/METADATA'
adding 'pypackage-0.0.1.dist-info/WHEEL'
adding 'pypackage-0.0.1.dist-info/top_level.txt'
adding 'pypackage-0.0.1.dist-info/RECORD'

4.5 生成可执行命令

在 __main.py 中添加以下内容作为可执行命令的入口

def hello():
    __private_say("pypackage")

然后在 pypackage.toml 中添加名为 pypackage-hello 的命令（在命令行中可直接运行 pypackage-hello）

[project.scripts]
pypackage-hello = "pypackage.__main:hello"

完成。重新打包安装后效果如下：

> pypackage-hello                                             
private say: Hello, pypackage!
王路ylu
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
python怎么更新setuptools_Python包管理工具setuptools详解
weixin_30954879的博客
02-04 2513
0.什么是setuptoolssetuptools是Python distutils增强版的集合，它可以帮助我们更简单的创建和分发Python包，尤其是拥有依赖关系的。用户在使用setuptools创建的包时，并不需要已安装setuptools，只要一个启动模块即可。功能亮点：利用EasyInstall自动查找、下载、安装、升级依赖包包含包目录内的数据文件自动包含包目录内的所有的包，而不用在set...
使用setuptools打包发布Python项目
蜗牛、Gray
04-25 329
使用 setuptools 打包发布 http://timd.cn/setuptools/ 简单示例 import setuptools setuptools.setup( name="tsari-convert", version='1.0.0', author="Gray Snail", author_email="shtao2011@sina.com", description="道路格式转换，场景格式转换", keywords='tsari r
Python深入：setuptools简介
weixin_30947043的博客
10-30 760
Setuptools是Python Distutils的加强版，使开发者构建和发布Python包更加容易，特别是当包依赖于其他包时。用setuptools构建和发布的包与用Distutils发布的包是类似的。包的使用者无需安装setuptools就可以使用该包。如果用户是从源码包开始构建，并且没有安装过setuptools的话，则只要在你的setup脚本中包含一个bootst...
Python库 | hatchling-0.0.16-py2.py3-none-any.whl
04-22
资源分类：Python库 所属语言：Python 使用前提：需要解压 资源全名：hatchling-0.0.16-py2.py3-none-any.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
python打包，setuptools打包6步法
最新发布
wenjie20070212的博客
06-05 1002
setup.cfg恭喜你！通过以上六个步骤，你已经掌握了使用setuptools打包和分发Python模块的全过程。继续探索Python打包的更多高级特性，如 wheel 文件、版本控制、自动化部署等，让你的模块在开源社区中更具影响力。
python打包分发工具：setuptools
天涯路的专栏
07-14 1430
自定义命令行为是setuptools进阶知识。line)见：https://pythonhosted.org/an_example_pypi_project/setuptools.html这些命令具体是由定义在setuptools.command中的类执行的。比如由setuptools.command.bdist类来执行。因此我们可以继承于setuptools.command中的类来执行自定义的命令行为。
通过hatchling实现python工程的打包（whl）处理
ouguangqian的博客
12-02 1494
一直都是在用别人封装的包，一直好奇，自己能不能也打一个包玩玩。
【python打包分发工具】setuptools详解
All_In_gzx_cc的博客
02-13 2255
自定义命令行为是setuptools进阶知识。见：https: / / pythonhosted . org/an_example_pypi_project/setuptools . html这些命令具体是由定义在中的类执行的。比如由setuptools.command.bdist类来执行。因此我们可以继承于中的类来执行自定义的命令行为。比如pytorch的就继承于。具体怎么继承并改写这个command类就需要阅读源码了。继承完command类后，需要通过cmdclass参数。
使用setuptools打包python项目
wang_san_shi的专栏
08-25 1951
使用setuptools打包Python Scrapy程序 0、目标 开发机上（Ubuntu14.04）有一个BloomFilter算法的简单实现，使用setuptools对其进行打包发布。 1、安装setuptools sudo apt-get install python-setuptools 2、项目的目录结构 因为使用Scrapy创建的项目baiduti
利用setuptools打包python程序的方法步骤
09-18
本文将详细介绍如何利用setuptools来打包Python程序。 **一、准备工程文件** 1. 首先，创建一个工程目录，例如名为"leeoo"。 2. 在工程根目录下创建`setup.py`文件，这是setuptools打包的核心配置文件。 3. 创建与...
浅析python打包工具distutils、setuptools
09-20
本文将深入探讨Python中的两个主要打包工具：distutils和setuptools。 首先，distutils是Python标准库的一部分，它提供了基础的打包和安装功能。通过编写一个名为`setup.py`的脚本，开发者可以定义他们的模块信息，...
PYTHON 项目打包案例.zip
01-20
6. **分发**：打包后的Python项目可以通过PyPI（Python Package Index）进行发布，开发者可以使用`twine`工具上传生成的`.tar.gz`（源码包）和`.whl`（二进制包）到PyPI。用户则可以通过`pip install <package_name>...
Python项目打包例子.zip
05-09
本教程将通过一个简单的例子讲解如何使用Python的`setuptools`和`wheel`工具来打包项目。`wheel`是一种二进制分发格式，它比传统的`.tar.gz`源代码包更快、更方便地安装。 首先，我们需要了解Python项目的目录结构...
使用Hatchling轻松实现Python项目打包
Trb601012的博客
01-23 1025
本文将会以一个简单的小项目为例，介绍如何使用hatchling来实现Python打包。我们的小项目主要使用tiktoken模块来实现文本或文本列表的token数计算。├── dist├── src└── tests""""""try:else:该脚本主要使用tiktoken模块来实现输入文本或文本列表的token数的计算。在tests模块下，使用单元测试(unittest"]单元测试并不影响项目打包，但为了项目的完整性，需要把测试过程加上。
（实用）Python模块打包-setuptools
marst437730201的博客
01-18 4506
平时造好的轮子,最后还是有给大家使用的一天。完整的记录一下，如何把Python模块打包成whl(wheel) 文件或者gz压缩文件。打包时会用到setuptools(60.5.0)工具。
Python 打包配置文件 setup.py 详解
ytusdc的博客
08-09 8703
在Python开发中，我们经常需要将自己的代码打包成可供其他人使用的库或应用程序。为了方便用户安装和使用，我们需要创建一个配置文件setup.py，用于定义打包的相关信息和依赖项。本文将详细介绍如何编写setup.py文件，并展示每一步需要做什么。
Python项目打包与部署(三)：打包与部署的实际操作流程
Python技术探索
09-03 5140
本文介绍了python项目打包与部署流程，以实际操作实例讲解通过setuptools工具，使用pyproject.toml 配置文件，创建项目，使用build模块编译项目，并上传到PyPi仓库，或者私有化PyPi Server, 以及下载安装步骤，
Python的setuptools详解【3】打包wheel并提交给pypi
gongdiwudu的专栏
12-17 6188
上文说，如何用setup.py打包成egg包，继而又有find_package()函数用法，本篇专门介绍，如何用setuptools打包成不同的软件包。在这篇博客中，我们将使用 Setuptools 创建一个源代码发行版和 python 包的轮子。在转向我们如何打包之前。我们先来了解一下什么是源分发和轮子文件。
pdm--新一代python包管理器
weixin_49021852的博客
04-21 460
早期的包管理器（如 Pipevn，Poetry），都是基于虚拟环境的，虚拟环境主要是为了隔离项目开发环境，但如果涉及到虚拟 环境嵌套虚拟环境，问题就难搞了，经常会出现问题。PDM 包含如下特性：● PEP 582 本地项目库目录，支持安装与运行命令，完全不需要虚拟环境。● 一个简单且相对快速的依赖解析器，特别是对于大的二进制包发布。● 兼容 PEP 517 的构建后端，用于构建发布包(源码格式与 wheel 格式)● 拥有灵活且强大的插件系统（有插件系统直接就拉开一个档次）
python setuptools打包成whl文件
06-11
好的，下面是使用setuptools将Python项目打包成whl文件的步骤： 1. 确认已经安装了setuptools和wheel模块。如果没有安装，可以在命令行中输入以下命令进行安装： ``` pip3 install setuptools wheel ``` 2. 在项目根目录下创建一个名为`setup.py`的文件，内容如下： ``` from setuptools import setup, find_packages setup( name='your-project-name', version='0.1', packages=find_packages(), install_requires=[ 'dependency1', 'dependency2', # ... 其他依赖项 ], classifiers=[ 'Programming Language :: Python :: 3', 'License :: OSI Approved :: MIT License', 'Operating System :: OS Independent', ], ) ``` 其中，`name`是你的项目名称，`version`是你的项目版本号，`packages`是你的项目中包含的所有Python模块，`install_requires`是你的项目依赖的所有Python包，`classifiers`是一些元数据。 3. 在命令行中进入项目根目录，然后使用以下命令构建一个源码分发包： ``` python3 setup.py sdist ``` 这个命令会在项目根目录下生成一个`dist`目录，其中包含一个源码分发包。 4. 接下来，使用以下命令构建一个二进制分发包： ``` python3 setup.py bdist_wheel ``` 这个命令会在项目根目录下生成一个`dist`目录，其中包含一个whl文件。 5. 最后，你可以使用以下命令来安装你的项目： ``` pip3 install your-project-name-0.1-py3-none-any.whl ``` 其中，`your-project-name-0.1`是你的项目名称和版本号，`py3-none-any`表示这是一个纯Python的whl文件。 以上就是使用setuptools将Python项目打包成whl文件的步骤。希望对你有所帮助。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值