最近工作中需要pyppeteer这个库来操作浏览器执行一些自动化操作,然后在部署的时候发现问题较多,每台服务器都安装了不同的软件导致环境不一致很难一次性安装成功。所以这里使用了docker来搭建一个独立的pyppeteer操作环境,并且发布到dockerhub。
一, docker 下拉取ubuntu 镜像;
无桌面版:
稳定部署选择安装无桌面版,体积小太多。
# 获取镜像
docker pull ubuntu:latest 无桌面版,仅72.9MB;
# 启动容器
docker run -it --name ubuntu -d ubuntu
桌面版:
由于我们需要使用pyppeteer模拟浏览器操作,这里推荐一个桌面版, 可供程序调试时使用;
docker pull dorowu/ubuntu-desktop-lxde-vnc 桌面版 1.28G
# 启动命令:
docker run -d -p 5900:5900 -p 6080:6080 -e VNC_PASSWORD=mypassword dorowu/ubuntu-desktop-lxde-vnc
# 5900:远程连接端口; 6800:本地连接端口
# -e VNC_PASSWORD; 带密码启动
windows安装 VNC Viewer, 输入:【 ip: port】
参考链接:
https://hub.docker.com/r/dorowu/ubuntu-desktop-lxde-vnc/
二, 进入容器以及检查相关环境
# 进入容器
docker exec -it ubuntu /bin/bash
三, 安装 python 以及 pip 包管理器
# 安装python 3.8
root@12828969eb2d:/# apt-get update
root@12828969eb2d:/# apt-get install python3.8
# 安装pip
root@12828969eb2d:/# apt-get install python3-pip
# 检查python 版本
root@c8bcc71e18ae:/# python --version
Python 3.8.5
# 检查pip 版本
root@c8bcc71e18ae:/# pip3 -V
pip 20.0.2 from /usr/lib/python3/dist-packages/pip (python 3.8)
** 到这里我打包成镜像之后只有400MB,而直接pull python3.8 有将近900MB;
一定要轻量级,因为后面python做成的应用之后镜像体积实在是大。
四, 安装 pyppeteer
# 安装pyppeteer
pip3 install pyppeteer==0.2.2 -i https://pypi.douban.com/simple
# 安装chromium
pyppeteer-install
# 安装相关系统依赖
apt-get install gconf-service libasound2 libatk1.0-0 libatk-bridge2.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 libgtk-3-0 libnspr4 libpango-1.0-0 libpangocairo-1.0-0 libstdc++6 libx11-6 libx11-xcb1 libxcb1 libxcomposite1 libxcursor1 libxdamage1 libxext6 libxfixes3 libxi6 libxrandr2 libxrender1 libxss1 libxtst6 ca-certificates fonts-liberation libappindicator1 libnss3 lsb-release xdg-utils wget
# 查看pyppeteer
import pyppeteer
print(pyppeteer.__chromium_revision__) # 查看版本号
print(pyppeteer.executablePath()) # Chromium应该在的路径
# 执行测试
cd /home && vim test.py
脚本:
import asyncio
from pyppeteer import launch
async def main():
browser = await launch(options={'args': ['--no-sandbox']})
page = await browser.newPage()
await page.goto("https://www.baidu.com/")
text = await page.content()
print(text)
await page.close()
await browser.close()
asyncio.get_event_loop().run_until_complete(main())
输出HTML源码的结果则表示测试成功。
五,将镜像提交成新镜像pyppeteer
git commit -a -m "massage" <containerID> pyppeteer:latest
* 其中 containerID为当前ubuntu容器的ID
六,提交dockerhub
-
进入dockerhub, 创建一个私人仓库;
-
控制台登录docker
docker login -
将镜像打上标签
docker tag a68c4d73740f dfcoding/pyppeteer:latest -
上传镜像
docker push dfcoding/pyppeteer:latest
参考文档:
https://www.cnblogs.com/qianqiannian/p/6005628.html
https://blog.csdn.net/sk_grace/article/details/81220675