使用bandersnatch搭建pypi 本地镜像源（20211026）

需求背景：公司内网不能联网，同时开发工作需要各种python的模块，因此需要搭建一个pypi的本地镜像源。

参考网上的方法，总结了大致有下面几种方式搭建pypi本地源：

• devpi: 企业内网利用devpi搭建pypi私服 - 简书
• pip2pi: https://yangfannie.com/1439.html
• pypiserver: https://zhongneng.github.io/2019/02/16/creat-pip/
• bandersnatch: 基于bandersnatch搭建pip本地源_永不消逝的记忆-CSDN博客

最终选择了bandersnatch，主要理由是前面几种基本采用的是缓存机制，安装或者下载模块后缓存在本地，在没有网络的环境下一旦部署很容易出现需要的模块没有被缓存，重新添加比较麻烦，当然前面几种的好处就是比较节省硬盘空间。

---

准备工作

pypi 全部资源量非常巨大，截至目前已经达到9.4T(20211026)，我准备了11T的硬盘空间，

查询所需要的空间： Statistics · PyPI

安装

根据官方的文档：bandersnatch · PyPI

安装的方式有多种，我采用的是docker 的部署方式。

docker pull pypa/bandersnatch

配置和部署：

• 启动docker 镜像

$ sudo docker run -it -v /srv/pypi:/srv/pypi pypa/bandersnatch:latest bash #我本地硬盘mount到了/srv/pypi

• 第一次执行bandersnatch mirror会生成/etc/bandersnatch.conf

root@97a753fce661:/bandersnatch# bandersnatch mirror
2021-10-26 13:12:53,502 WARNING: Config file '/etc/bandersnatch.conf' missing, creating default config. (main.py:200)
2021-10-26 13:12:53,502 WARNING: Please review the config file, then run 'bandersnatch' again. (main.py:201)

• 编辑 /etc/bandersnatch.conf文件，主要是修改一下存放文件的路径

directory = /srv/pypi

• 再次执行bandersnatch mirror，开始mirror。（国内从官网下载文件，速度较慢且不稳定，如果网速能接受等待全部下载完即可）
• 如果发现从官网下载速度或者稳定性欠佳，可修改成国内源下载文件。

        首先还是需要执行bandersnatch mirror直到开始下载文件，此时会生成todo文件(必须需要有该文件)，按ctrl+c取消mirror.

root@97a753fce661:/bandersnatch# ls -l /srv/pypi/
total 7220
-rw------- 1 root root       1 Oct 26 11:56 generation
-rw------- 1 root root 7381714 Oct 26 12:16 todo
drwxr-xr-x 5 root root    4096 Oct 26 11:56 web

           修改/etc/bandersnatch.conf中的下面内容，为何不一开始就替换为国内源呢？是因为常用的国内源似乎暂不支持xmlrpc服务，导致无法获取到文件元数据信息，只好先从官网获取元数据信息，获取到以后再换成国内源进行下载。

download-mirror = https://pypi.doubanio.com/
download-mirror-no-fallback = False

同时我在该文件中增加了过滤，去除超大文件的下载，过滤选项可参考：Mirror filtering — bandersnatch 5.0.0 documentation

[plugins]
enabled =
    size_project_metadata
[size_project_metadata]
    max_package_size = 10G

•         修改完成后执行bandersnatch mirror，就会发现使用豆瓣源下载文件了，速度有了大幅提升。

      

• 经过漫长的下载（一周的时间），终于下载完成了，下载了5T多，因为设置了10G以上不下载，部分常用的没有下载下来，例如numpy，panda等，可以在/etc/bandersnatch.conf设置白名单，例如：

  [plugins]
  enabled =
      allowlist_project
  
  [allowlist]
  packages =
      numpy

  因为我剩余空间还比较多，我将过滤package大小设置成了100G，且只下载最新的20次版本,当然我们也可以一开始就可以设置要下载的版本数量，全部下载似乎的确没必要且占空间

  [plugins]
  enabled =
      size_project_metadata
      latest_release
  [latest_release]
  keep = 20
  [size_project_metadata]
  max_package_size = 100G

• 安装apache，提供http服务

  apt-get install -y apache2
  cd /var/www/html/
  rm -rf index.html
  ln -s /srv/pypi/web pypi

使用内部源

• pip install <package> -i http://xx.xx.xx.xx/pypi/simple/ --trusted-host xx.xx.xx.xx

• 或者配置~/.pip/pip.conf文件

  root@743d3aff75df:~/.pip# cat ~/.pip/pip.conf [global] index-url = http://xx.xx.xx.xx/pypi/simple [install] trusted-host=xx.xx.xx.xx