python文件分发_Python包的构建与分发——setup.py

因为项目中要使用到setuptools，所以大致的学习了一下，相关的学习笔记如下，理解有限，如有问题还请指出

一、为什么要打包

1、前言

将我们写的Python程序发布成包后，可以使其能够安装使用。在项目上测试的时候，某些情况下，可以将Python打包，然后上传到测试服务器，安装测试。setuptools是常用的打包工具。setuptools是Python distutils增强版的集合，它可以帮助我们更简单的创建和分发Python包，尤其是拥有依赖关系的。用户在使用setuptools创建的包时，并不需要已安装setuptools，只要一个启动模块即可。模块的开发者为我们做了很多繁杂的工作，就是打包。

setuptools是 Python Enterprise Application Kit(PEAK)的一个副项目，它是一组Python的 distutilsde工具的增强工具(适用于 Python 2.3.5 以上的版本，64 位平台则适用于 Python 2.4 以上的版本)，可以让程序员更方便的创建和发布 Python 包，特别是那些对其它包具有依赖性的状况。

2、包分发始祖：distutils

distutils是python的一个标准库(distribute utils分发工具)，由python官方开发的打包工具，其精髓在于setup.py，它是模块分发与安装的指导文件。

我们经常使用python setup.py install来安装源码

3、setuptools

Setuptools是distutils增强版本，不包括在标准库中，安装方式有两种：

(1)源码安装https://pypi.org/project/setuptools/#files​pypi.orgsetuptools​pypi.org

(2)引导程序安装(pip等)

pip install setuptools

功能亮点：利用EasyInstall自动查找、下载、安装、升级依赖包

创建Python Eggs

包含包目录内的数据文件

自动包含包目录内的所有的包，而不用在setup.py中列举

自动包含包内和发布有关的所有相关文件，而不用创建一个http://MANIFEST.in文件

自动生成经过包装的脚本或Windows执行文件

支持Pyrex，即在可以setup.py中列出.pyx文件，而最终用户无须安装Pyrex

支持上传到PyPI

可以部署开发模式，使项目在sys.path中

用新命令或setup()参数扩展distutils，为多个项目发布/重用扩展

在项目setup()中简单声明entry points，创建可以自动发现扩展的应用和框架

二、easy_install的简单使用(现在用的不多了，主要是pip)easy_install和pip都是用来下载安装python的一个公共资源库PyPI的相关资源包的，pip是easy_install的改进版，提供更好的提示信息，删除package等功能，老版本的python只有easy_install,没有pip。easy_install打包和发布Python包。pip是包管理

# 通过包名，从PyPI寻找最新版本，自动下载、编译、安装

easy_install pkg_name

# 通过包名从指定下载页寻找链接来安装或升级包

easy_install -f http://pythonpaste.org/package_index.html

# 指定线上的包地址安装

easy_install http://example.com/path/to/MyPackage-1.2.3.tgz

# 从本地的 .egg 文件安装

easy_install xxx.egg

# 从 pypi 中搜索并升级包

easy_install --upgrade pkg_name

# 指定版本进行升级

easy_install "SomePackage==2.0"

#包的移除

easy_install -m pkg_name使用 easy_install -m pkg_name 移除后只会使其在python中不可用，并不能完全删除，需要手动删除python安装目录下的相关egg文件及其他文件

easy_install 只会从PyPI上下载相关包，可以通过类似的pip换源来加速下载

三、源码包和二进制包的区别

(1)源码包

源码包安装的过程，是先解压，再编译，最后才安装，所以它是跨平台的，由于每次安装都要进行编译，相对二进包安装方式来说安装速度较慢。

源码包的本质是一个压缩包，其常见的格式有.zip，.tar，.gz，.bz2，.Z

(2)二进制包

二进制包的安装过程省去了编译的过程，直接进行解压安装，所以安装速度较源码包来说更快。由于不同平台的编译出来的包无法通用，所以在发布时，需事先编译好多个平台的包。

二进制包的常见格式有.egg，.whl

(3)egg和wheels的区别

详细对比参照这篇文章知乎 - 安全中心​blog.konghy.cn

Egg 格式是由 setuptools 在 2004 年引入，而 Wheel 格式是由 PEP427 在 2012 年定义。Wheel 的出现是为了替代 Egg，它的本质是一个zip包，其现在被认为是 Python 的二进制包的标准格式。

以下是 Wheel 和 Egg 的主要区别：Wheel 有一个官方的 PEP427 来定义，而 Egg 没有 PEP 定义

Wheel 是一种分发格式，即打包格式。而 Egg 既是一种分发格式，也是一种运行时安装的格式，并且是可以被直接 import

Wheel 文件不会包含 .pyc 文件

Wheel 使用和 PEP376 兼容的 .dist-info 目录，而 Egg 使用 .egg-info 目录

Wheel 有着更丰富的命名规则。

Wheel 是有版本的。每个 Wheel 文件都包含 wheel 规范的版本和打包的实现

Wheel 在内部被 sysconfig path type 管理，因此转向其他格式也更容易

wheel可以通过pip安装，需要先安装wheel模块，再使用其他命令

pip install wheel

pip wheel --wheel-dir=/local/wheels pkg

四、setup.py的编写

主要有三种方法：

(1)使用命令行参数指定

(2)再setup.py中的setup函数中指定

(3)使用pbr再setup.cfg中指定

#以mmcv的setup为例

from setuptools import Extension, dist, find_packages, setup

setup(

name='mmcv',

version=get_version(),

description='Open MMLab Computer Vision Foundation',

long_description=readme(),

keywords='computer vision',

packages=find_packages(),

classifiers=[

'Development Status :: 4 - Beta',

'License :: OSI Approved :: Apache Software License',

'Operating System :: OS Independent',

'Programming Language :: Python :: 3',

'Programming Language :: Python :: 3.5',

'Programming Language :: Python :: 3.6',

'Programming Language :: Python :: 3.7',

'Programming Language :: Python :: 3.8',

'Topic :: Utilities',

],

url='https://github.com/open-mmlab/mmcv',

author='Kai Chen',

author_email='chenkaidev@gmail.com',

setup_requires=['pytest-runner'],

tests_require=['pytest'],

install_requires=install_requires,

ext_modules=EXT_MODULES,

cmdclass={'build_ext': build_ext},

zip_safe=False)

name，version，author等这些基本信息是要发布的包的基本信息，通过packages=find_packages()找到当前目录下有哪些包。

1、setup函数常用的一些参数

更多详细的参数说明见官网：Building and Distributing Packages with Setuptools​setuptools.readthedocs.io

2、classifiers

from setuptools import setup, find_packages

setup(

classifiers = [

# 发展时期,常见的如下

# 3 - Alpha

# 4 - Beta

# 5 - Production/Stable

'Development Status :: 3 - Alpha',

# 开发的目标用户

'Intended Audience :: Developers',

# 属于什么类型

'Topic :: Software Development :: Build Tools',

# 许可证信息

'License :: OSI Approved :: MIT License',

# 目标 Python 版本

'Programming Language :: Python :: 2',

'Programming Language :: Python :: 2.7',

'Programming Language :: Python :: 3',

'Programming Language :: Python :: 3.3',

'Programming Language :: Python :: 3.4',

'Programming Language :: Python :: 3.5',

]

)

详细的全部参数信息见https://pypi.org/pypi?%3Aaction=list_classifiers​pypi.org

3、关于文件的发布data_files=[] #安装过程中需要安装的静态文件(如配置文件cfg等)

package_data=[] #希望被打包的文件

exclude_package_data = [] #不打包某些文件

# 安装过程中，需要安装的静态文件，如配置文件、service文件、图片等

data_files=[

('', ['conf/*.conf']),

('/usr/lib/systemd/system/', ['bin/*.service']),

],

# 希望被打包的文件

package_data={

'':['*.txt'],

'bandwidth_reporter':['*.txt']

},

# 不打包某些文件

exclude_package_data={

'bandwidth_reporter':['*.txt']

}

4、关于依赖包的安装和下载install_requires = [] 表明当前模块需要哪些包，如果没有，则会从PyPI中下载安装

setup_requires = [] setup.py本身的依赖包，这里列出的包不会自动安装

test_requires = [] 仅在测试时候需要使用的依赖，在正常发布的代码中没有用，在执行python setup.py test时候安装setup_requires和test_requires中的依赖

dependency_links=[] 用于安装setup_requires和test_requires

etras_requires=[] 表示该模块会依赖这些包，但是这些包不会被用到

关于install_requires有如下几种常见表达形式:

(1)只包含包的名称(torch)(这种形式只检查包的存在性，不检查版本。 方便，但不利于控制风险)

(2)包名=指定版本(torch==1.0.1)(指定版本。 这种形式把风险降到了最低，确保了开发、测试与部署的版本一致，不会出现意外。 缺点是不利于更新，每次更新都需要改动代码)

(3)torch>=1.0.0(自动保持版本最新)

(4)Django >= 1.11, != 1.11.1, <= 2(Django的大版本在1.11和2之间，也即1.11.x；并且，排除了已知有问题的版本1.11.1(仅举例)。 对于一些大型、复杂的库，这种形式是最合适的)

5、关于安装环境的限制

有些库并不是在所以的 Python 版本中都适用的，若一个库安装在一个未兼容的 Python 环境中，理论上不应该在使用时才报错，而应该在安装过程就使其失败，提示禁止安装。这样的功能，可以使用 python_requires 来实现。

setup(

...

python_requires='>=2.7, <=3',

)

6、生成可执行文件发布

setup(

...

# 用来支持自动生成脚本，安装后会自动生成 /usr/bin/foo 的可执行文件

# 该文件入口指向 foo/main.py 的main 函数

entry_points={

'console_scripts': [

'foo = foo.main:main'

]

},

# 将 bin/foo.sh 和 bar.py 脚本，生成到系统 PATH中

# 执行 python setup.py install 后

# 会生成 如 /usr/bin/foo.sh 和 如 /usr/bin/bar.py

scripts=['bin/foo.sh', 'bar.py']

)

7、ext_modules

ext_modules 参数用于构建 C 和 C++ 扩展扩展包

8、PBR

pbr会读取和过滤setup.cfg中的数据，然后将解析后的数据提供给setup.py作为参数。

from setuptools import setup

setup(

setup_requires=['pbr'],

pbr=True,

)

五、使用setup.py构建包

1、构建源码发布包(使用easy_install进行安装)

python setup.py sdist

也可以指定发布包的格式

python setup.py sdist –formats = gztar,zip

2、构建二进制分发包

python setup.py bdist

六、使用setup.py安装包

python setup.py install 将模块安装到全局环境中

python setup.py develop 创建一个软链接指向实际所在目录，不会真正安装

七、如何发布到PyPI

注册PyPI账号，创建~/.pypirc文件，配置PyPI访问地址和账号。

python setup.py register 使用该信息注册

python setup.py upload 上传源码包

学习资料参照这篇文章：王炳明：全面学习 Python 包：包的构建与分发​zhuanlan.zhihu.com

以下就自己的一个实验来大致说一下简单使用

1、新建工程，创建setup.py文件并写入

from setuptools import setup,find_packages

setup(

name = 'demo',

version = '0.2',

author = 'PanXF',

author_email = 'hust_pan@163.com',

packages = find_packages()

)

2、执行python setup.py bdist_egg 打包

D:\Pycharm\bboxe_context>python setup.py bdist_egg

running bdist_egg

running egg_info

writing demo.egg-info\PKG-INFO

writing dependency_links to demo.egg-info\dependency_links.txt

writing top-level names to demo.egg-info\top_level.txt

reading manifest file 'demo.egg-info\SOURCES.txt'

writing manifest file 'demo.egg-info\SOURCES.txt'

installing library code to build\bdist.win-amd64\egg

running install_lib

running build_py

creating build\lib\code

copying code\__init__.py -> build\lib\code

creating build\bdist.win-amd64\egg

creating build\bdist.win-amd64\egg\code

copying build\lib\code\__init__.py -> build\bdist.win-amd64\egg\code

creating build\bdist.win-amd64\egg\demo

copying build\lib\demo\__init__.py -> build\bdist.win-amd64\egg\demo

byte-compiling build\bdist.win-amd64\egg\code\__init__.py to __init__.cpython-37.pyc

byte-compiling build\bdist.win-amd64\egg\demo\__init__.py to __init__.cpython-37.pyc

creating build\bdist.win-amd64\egg\EGG-INFO

copying demo.egg-info\PKG-INFO -> build\bdist.win-amd64\egg\EGG-INFO

copying demo.egg-info\SOURCES.txt -> build\bdist.win-amd64\egg\EGG-INFO

copying demo.egg-info\dependency_links.txt -> build\bdist.win-amd64\egg\EGG-INFO

copying demo.egg-info\top_level.txt -> build\bdist.win-amd64\egg\EGG-INFO

zip_safe flag not set; analyzing archive contents...

creating 'dist\demo-0.2-py3.7.egg' and adding 'build\bdist.win-amd64\egg' to it

removing 'build\bdist.win-amd64\egg' (and everything under it)生成的文件目录如下demo.egg-info文件夹中存在该包的各种信息

3、添加功能

在该工程目录下创建一个code文件夹，并创建一个 _init__.py 的文件(表示该目录是一个包，务必用 _init__.py )

#!/usr/bin/env python

#-*- coding:utf-8 -*-

def test():

print ("hello world")

if __name__ == '__main__':

test()

再次执行python setup.py bdist_egg 打包

4、安装这个包 python setup.py install

D:\Pycharm\bboxe_context>python setup.py install

running install

running bdist_egg

running egg_info

writing demo.egg-info\PKG-INFO

writing dependency_links to demo.egg-info\dependency_links.txt

writing top-level names to demo.egg-info\top_level.txt

reading manifest file 'demo.egg-info\SOURCES.txt'

writing manifest file 'demo.egg-info\SOURCES.txt'

installing library code to build\bdist.win-amd64\egg

running install_lib

running build_py

creating build\bdist.win-amd64\egg

creating build\bdist.win-amd64\egg\code

copying build\lib\code\__init__.py -> build\bdist.win-amd64\egg\code

creating build\bdist.win-amd64\egg\demo

copying build\lib\demo\__init__.py -> build\bdist.win-amd64\egg\demo

byte-compiling build\bdist.win-amd64\egg\code\__init__.py to __init__.cpython-37.pyc

byte-compiling build\bdist.win-amd64\egg\demo\__init__.py to __init__.cpython-37.pyc

creating build\bdist.win-amd64\egg\EGG-INFO

copying demo.egg-info\PKG-INFO -> build\bdist.win-amd64\egg\EGG-INFO

copying demo.egg-info\SOURCES.txt -> build\bdist.win-amd64\egg\EGG-INFO

copying demo.egg-info\dependency_links.txt -> build\bdist.win-amd64\egg\EGG-INFO

copying demo.egg-info\top_level.txt -> build\bdist.win-amd64\egg\EGG-INFO

zip_safe flag not set; analyzing archive contents...

creating 'dist\demo-0.2-py3.7.egg' and adding 'build\bdist.win-amd64\egg' to it

removing 'build\bdist.win-amd64\egg' (and everything under it)

Processing demo-0.2-py3.7.egg

Copying demo-0.2-py3.7.egg to d:\setup\python\lib\site-packages

Removing demo 0.1 from easy-install.pth file

Adding demo 0.2 to easy-install.pth file

Installed d:\setup\python\lib\site-packages\demo-0.2-py3.7.egg

Processing dependencies for demo==0.2

Finished processing dependencies for demo==0.2由这里可以看出安装的位置

0.1版本是我最开始的测试版本，0.2版本是刚刚安装的版本

import demo

demo.test()