python包安装详解

最新推荐文章于 2024-06-03 13:31:43 发布

酌沧编程

最新推荐文章于 2024-06-03 13:31:43 发布

阅读量780

点赞数 18

分类专栏： python 文章标签： python 开发语言

本文链接：https://blog.csdn.net/jiaxin576/article/details/137900475

版权

python 专栏收录该内容

22 篇文章 0 订阅

订阅专栏

安装过程

如果有一个 Python 包，可以使用以下命令在包的根目录（其中包含 setup.py 文件）生成 wheel 文件：

python setup.py bdist_wheel

这个命令会在 dist/ 目录下创建一个 .whl 文件。这个 wheel 文件可以被分发和安装到其他系统上，而不需要源代码或者重新编译任何东西。

以下命令来安装这个 wheel 文件：

pip install /path/to/dist/bdist_wheel.whl

如下是这个过程的详细描述，pip install 从远程下载并安装包的过程与从本地安装 .whl 文件的过程非常相似。

1.解析 Wheel 文件

首先，pip 需要解析 wheel 文件的名称。Wheel 文件名遵循一个标准的命名约定，包含包名、版本号、构建标签、Python 标签、ABI 标签和平台标签。这些信息帮助 pip 确定该文件是否与当前的 Python 环境兼容。

2.检查兼容性

pip 根据 wheel 文件名中的 Python 版本、ABI（应用程序二进制接口）和平台标签检查 wheel 是否适用于当前环境。如果不兼容，pip 会报错并停止安装。

3.提取和安装包

如果 wheel 文件与环境兼容，pip 会将 .whl 文件解压到一个临时目录。这个解压包含了预编译的扩展模块（如果有的话）、Python 模块和包、以及相关的元数据。

接下来，pip 会将这些文件复制到正确的位置，通常是 Python 的 site-packages 目录。这样，安装的包就可以在 Python 环境中被导入和使用了。

4.处理依赖

Wheel 文件包含了一个名为 METADATA 的文件，其中包含了包的依赖信息。pip 会解析这些依赖，并递归地安装所需的任何其他包。这一步骤确保了包及其所有依赖都被安装，使得包可以正常工作。

5.编译扩展（如果需要）

虽然 wheel 文件通常包含预编译的扩展，但在某些情况下（如纯 Python wheel），如果包含需要在目标系统上编译的扩展，则 pip 会处理这些编译过程。这种情况比较少见，因为 wheel 的主要优势之一就是避免了编译步骤。

6.更新元数据和记录

安装完成后，pip 会更新相关的元数据和安装记录，这包括安装包的名称、版本和位置等信息。这些信息用于未来的包管理操作，如升级、卸载等。

setup.py示例一

from setuptools import find_packages, setup
from setuptools.command.install import install

class DownloadNLTK(install):
    def run(self):
        self.do_egg_install()
        import nltk
        nltk.download('punkt')

def readme():
    with open('README.md', encoding='utf-8') as f:
        content = f.read()
    return content

def parse_requirements(fname='requirements.txt', with_version=True):
    
    import re
    import sys
    from os.path import exists
    require_fpath = fname

    def parse_line(line):
        """Parse information from a line in a requirements text file."""
        if line.startswith('-r '):
            # Allow specifying requirements in other files
            target = line.split(' ')[1]
            for info in parse_require_file(target):
                yield info
        else:
            info = {'line': line}
            if line.startswith('-e '):
                info['package'] = line.split('#egg=')[1]
            else:
                # Remove versioning from the package
                pat = '(' + '|'.join(['>=', '==', '>']) + ')'
                parts = re.split(pat, line, maxsplit=1)
                parts = [p.strip() for p in parts]

                info['package'] = parts[0]
                if len(parts) > 1:
                    op, rest = parts[1:]
                    if ';' in rest:
                        # Handle platform specific dependencies
                        # http://setuptools.readthedocs.io/en/latest/setuptools.html#declaring-platform-specific-dependencies
                        version, platform_deps = map(str.strip,
                                                     rest.split(';'))
                        info['platform_deps'] = platform_deps
                    else:
                        version = rest  # NOQA
                    if '--' in version:
                        # the `extras_require` doesn't accept options.
                        version = version.split('--')[0].strip()
                    info['version'] = (op, version)
            yield info

    def parse_require_file(fpath):
        with open(fpath, 'r') as f:
            for line in f.readlines():
                line = line.strip()
                if line and not line.startswith('#'):
                    for info in parse_line(line):
                        yield info

    def gen_packages_items():
        if exists(require_fpath):
            for info in parse_require_file(require_fpath):
                parts = [info['package']]
                if with_version and 'version' in info:
                    parts.extend(info['version'])
                if not sys.version.startswith('3.4'):
                    # apparently package_deps are broken in 3.4
                    platform_deps = info.get('platform_deps')
                    if platform_deps is not None:
                        parts.append(';' + platform_deps)
                item = ''.join(parts)
                yield item

    packages = list(gen_packages_items())
    return packages

def get_version():
    version_file = 'opencompass/__init__.py'
    with open(version_file, 'r', encoding='utf-8') as f:
        exec(compile(f.read(), version_file, 'exec'))
    return locals()['__version__']

def do_setup():
    setup(name='opencompass',
          author='OpenCompass Contributors',
          version=get_version(),
          description='A comprehensive toolkit for large model evaluation',
          url='https://github.com/open-compass/opencompass',
          long_description=readme(),
          long_description_content_type='text/markdown',
          maintainer='OpenCompass Authors',
          cmdclass={'download_nltk': DownloadNLTK},
          setup_requires=['nltk==3.8'],
          python_requires='>=3.8.0',
          install_requires=parse_requirements('requirements/runtime.txt'),
          license='Apache License 2.0',
          packages=find_packages(exclude=[
              'test*',
              'configs',
              'data',
              'docs',
              'tools',
              'tmp',
          ]),
          keywords=[
              'AI', 'NLP', 'in-context learning', 'large language model',
              'evaluation', 'benchmark', 'llm'
          ],
          classifiers=[
              'Programming Language :: Python :: 3.8',
              'Programming Language :: Python :: 3.9',
              'Programming Language :: Python :: 3.10',
              'Intended Audience :: Developers',
              'Intended Audience :: Education',
              'Intended Audience :: Science/Research',
          ])


if __name__ == '__main__':
    do_setup()

这段代码是
https://github.com/open-compass/opencompass的 setup.py 脚本，用于定义包的安装和分发配置。

1.导入模块和定义自定义安装命令

DownloadNLTK 类继承自
setuptools.command.install.install，用于扩展标准的安装过程。在安装包时，这个自定义命令会下载 NLTK 的 punkt 数据集。

2.定义读取 README 文件的函数

这个函数读取包的 README 文件，通常用于在 PyPI 上显示长描述。

3.解析依赖关系

函数解析 requirements.txt 文件（或其他指定的依赖文件），提取包依赖。它支持读取其他文件中的依赖（通过 -r 指令）、处理 -e （可编辑安装）依赖，并且可以选择是否包含版本信息。

4.获取包版本

函数从 opencompass/__init__.py 文件中读取包的版本号。这是一个常见的模式，包的版本号通常在包的 __init__.py 文件中定义为 __version__。

5.定义 setup() 函数

do_setup() 函数调用 setup()，这是 setuptools 库的核心功能，用于配置包的安装和分发。它包含很多参数，定义了如何打包和安装这个 Python 包：

name、author、version 等字段定义了包的基本信息。
long_description 通常用 README 文件的内容填充，这样在 PyPI 上会显示更详细的包描述。
cmdclass 允许你指定自定义的命令类，这里用来在安装时运行 DownloadNLTK 类。
setup_requires 定义了运行 setup 脚本本身所需的依赖。
install_requires 定义了包运行时的依赖，这里通过 parse_requirements() 函数获取。
packages 指定了要包含在分发中的包目录，find_packages() 函数用于自动查找这些目录。
classifiers 提供了一些元数据，如包的目标编程语言版本和目标受众。

6.执行安装脚本

最后，如果直接执行这个脚本（而不是被其他脚本导入），它会调用 do_setup() 函数来执行安装过程。这允许通过命令行直接安装包，也允许该脚本作为模块被其他 Python 脚本导入和使用。

setup.py示例二

如下包含二进制扩展setup.py 文件做了以下几件事：

导入 setuptools 和 Extension。
定义一个 Extension 对象，指定模块名和源文件。这告诉 setuptools 如何编译 C 代码。
在 setup 函数中定义包的元数据，并将扩展模块列表传递给 ext_modules 参数。

当运行 python setup.py build_ext 时，setuptools 会编译 hello.c 并生成一个可从 Python 导入的共享库。运行 python setup.py install，这个扩展模块会与其他 Python 模块一起安装到 Python 环境中。

from setuptools import setup, Extension, find_packages

# 定义一个扩展模块
hello_extension = Extension(
    'my_package.hello',  # 模块的完整名称
    sources=['src/hello.c'],  # 源文件的路径
)

# 使用 setup 函数定义包
setup(
    name='my_package',
    version='0.1.0',
    author='Your Name',
    author_email='your.email@example.com',
    description='An example package with a binary extension',
    long_description='This is a long description for the package.',
    packages=find_packages(),
    ext_modules=[hello_extension],  # 包含扩展模块
)

酌沧编程

关注

18
点赞
踩
12

收藏

觉得还不错? 一键收藏
0
评论
python包安装详解

DownloadNLTK 类继承自setuptools.command.install.install，用于扩展标准的安装过程。在安装包时，这个自定义命令会下载 NLTK 的 punkt 数据集。
复制链接

扫一扫