最近在重做虚拟机环境,虚拟机不可连外网,最初python包都是通过离线whl进行安装。但是离线文件已经找不到了,不想重新去一个个下载,而且本地环境跟虚拟机环境也不一致,pip download可能会遇到版本问题,遂考虑通过开个代理服务来中转一下请求。开始以为会很麻烦,做完发现也就一点点代码,简单记录一下。
主要就是Flask服务和爬虫的思路。
环境:
- 一台虚拟机(A)
- 一台能与虚拟机通信的主机(B),局域网IP为:192.168.101.55
步骤:
1、在B上开启一个服务,使用Flask比较简单,代码如下:
其中重新请求的url为pypi源,网上随便找个源都可以,这里使用清华源
import requests
from flask import Flask, request
app = Flask(__name__)
@app.route('/<path:req_url>')
def pypi_request(req_url):
url = f'https://pypi.tuna.tsinghua.edu.cn/{req_url}'
response = requests.request(request.method, url)
return response.content
if __name__ == '__main__':
app.run('0.0.0.0', port=3333, debug=True)
2、把A机器上的python换源
在当前用户的主路径下创建pip.conf
cd ~/
mkdir .pip
cd .pip
vi pip.conf
写入内容如下
[global]
index-url = http://192.168.101.55:3333/simple/
[install]
trusted-host = 192.168.101.55
3、使用pip命令安装包吧,以安装pillow为例
pip install pillow
可以看到请求的url已经变成了B开启的服务,并且安装成功
具体的请求内容可以看Flask中的日志,主要就2个GET请求,猜测解析符合版本的逻辑是在pip里面做的,因此先获取包的版本信息,再根据下载链接去获取包。
这里A是在docker中,所以显示的IP跟B一样了。问题不大。
同理:
如果要部署生产环境,可以先搞个虚拟机做成同样环境,然后使用pip download
把需要的包全部下下来,就可以避免本地环境不一致和冲突问题