python模块私有仓库devpi搭建

1.简要

• devpi工具相比其他pypi源工具，有如下特点：
  • 节省硬盘：不必完全同步下来公开源的所有包，仅在第一次pip安装时从公开源下载和缓存。
  • 支持上传接口文档：上传自己开发pip库时，可以把接口文档也上传到devpi。
• 本项目旨在用docker容器启动devpi服务。

2.背景

2.1.为什么要自己搭建pypi源服务

1. 节省安装时间：当我们在内网打包镜像、安装python环境时，经常要反复从外网源下载pip库。即使改用国内的阿里源、豆瓣源，下载速度一般也只会在2~7MB/s左右，如果安装500MB的TensorFlow，下载+安装约需要2分钟。如果遇到网络不稳定，等待时间会更长，而从内网下载安装包，速度在100+MB/s !!!。
2. 分享沉淀python库：内部开发的python库，如果在内部pip源平台上，以pip库的形式内部分享，可以减少很多重复性工作，也可以沉淀工作内容。

2.2. pip源工具对比

比较试用了几款常见的pip源工具，选择devpi工具搭建

工具	上传自己的pip包至服务	外网源同步至服务	安装体验
pypiserver	支持twine命令上传	不支持，需要自己下载	手动同步上千个包后index目录变卡
bandersnatch	不支持命令上传	自动同步，只能同步国外官方源，占硬盘多	白名单设置同步库较麻烦
devpi	支持twine、devpi命令上传	采用缓存机制，不占用太多硬盘	第一次客户端pip安装，服务会从指定外网源下载，并存入服务硬盘，后面直接走缓存的硬盘

3.快速开始

3.1. docker run 方式

docker run -d --name devpi-lib -p 7104:7104  --env DEVPISERVER_HOST=0.0.0.0 --env DEVPISERVER_PORT=7104 --env DEVPISERVER_ROOT_PASSWORD=password --env DEVPISERVER_USER=lowinli --env DEVPISERVER_PASSWORD=password --env DEVPISERVER_MIRROR_INDEX=pypi --env DEVPISERVER_LIB_INDEX=devpi --env SOURCE_MIRROR_URL=https://pypi.douban.com/simple --restart always --volume volume:/var/lib/devpi lowinli98/devpi:v0.1

3.2. docker-compose 方式

version: "2.3"
services:
  devpi-lib:
    container_name: devpi-lib
    image: lowinli98/devpi:v0.1
    expose:
      - 7104
    ports:
      - "7104:7104"
    environment:
      - DEVPISERVER_HOST=0.0.0.0
      - DEVPISERVER_PORT=7104
      - DEVPISERVER_ROOT_PASSWORD=password
      - DEVPISERVER_USER=lowinli
      - DEVPISERVER_PASSWORD=password
      - DEVPISERVER_MIRROR_INDEX=pypi                    # 指定镜像index
      - DEVPISERVER_LIB_INDEX=devpi                      # 指定上传index
      - SOURCE_MIRROR_URL=https://pypi.douban.com/simple # 指定镜像源
    restart: always
    volumes:
      - ./volume:/var/lib/devpi

3.3. 访问devpi页面

0.0.0.0:7104