封装chrome镜像

已于 2023-01-15 16:27:10 修改
阅读量1.5k 收藏
点赞数
分类专栏： java基础 文章标签： chrome python java
于 2023-01-15 16:13:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daliucheng/article/details/128695094
版权

chrome镜像

selenium提供了一个镜像，但这个镜像里面包含了比较多的东西：

镜像地址-github

  1. supervisord

  2. java

  3. chrome

  4. webDriver

实际的使用中遇到了一些问题

  1. chrome遇到一些比较耗费内存和cup的操作的时候，有的时候会kill掉java进程，但supervisord不会自动拉起java进程。从ps看的话，webdriver和chrome就是孤儿进程了。
  2. 在某些情况下，webdriver退出不彻底，再次启动webdriver会在启动浏览器，此时，就会有两个浏览器。

当然加大内存是最简单的处理方式，但为了可控，随即自己封装chrome，将chrome和自己的业务代码封装在一起，要是发生上面的情况，可以调用命令行来做操作。

提供两种镜像

  1. 基于Ubuntu
  2. 基于Debian

大体流程如下

  1. 下载对应平台的安装包（手动下载到本地在安装，或者直接用apt-get 去搜索下载）。
  2. 下载对应版本的webDriver。
  3. apt-get 安装字体。
  4. 安装python，pip，用pip安装selenium库（这一点可以按照自己所熟悉的来，python我提供了代码，java也可以自己来安装jdk的环境，将自己的代码写成jar包，java jar运行，或者可以安装jdk17，命令行交互来操作）

基于Ubuntu

下载对应平台的安装包

  1. 手动下载安装

    需要下载两个东西

    • chromium-codecs-ffmpeg-extra 90.0.4430.72-0ubuntu0.16.04.1 (amd64 binary) in ubuntu xenial

      • 访问页面

        https://launchpad.net/ubuntu/xenial/amd64/chromium-codecs-ffmpeg-extra/90.0.4430.72-0ubuntu0.16.04.1

      • 下载链接

        http://launchpadlibrarian.net/534151129/chromium-codecs-ffmpeg-extra_90.0.4430.72-0ubuntu0.16.04.1_amd64.deb

在这里插入图片描述

  • chromium-browser 90.0.4430.72-0ubuntu0.16.04.1

    • 访问页面

      https://www.ubuntuupdates.org/package_metas?cx=005406051221663887916%3Aaw7ejs-ceqo&cof=FORID%3A11&ie=UTF-8&q=google-chrome-stable&commit=Package+Search
      在这里插入图片描述

    • 下载链接

      https://www.ubuntuupdates.org/package/core/xenial/universe/updates/chromium-browser

  1. apt-get在线下载安装

    这个安装方式基于Debian也是可以的，在Debian里面就不写了。

    这里的安装方式来源于selenium提供的Dockfile

    https://github.com/SeleniumHQ/docker-selenium/blob/trunk/NodeChrome/Dockerfile

    ARG CHROME_VERSION="google-chrome-stable"
RUN wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add - \
  && echo "deb http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google-chrome.list \
  && apt-get update -qqy \
  && apt-get -qqy install \
    ${CHROME_VERSION:-google-chrome-stable} \
  && rm /etc/apt/sources.list.d/google-chrome.list \
  && rm -rf /var/lib/apt/lists/* /var/cache/apt/*
  
#============================================
# Chrome webdriver
#============================================
# can specify versions by CHROME_DRIVER_VERSION
# Latest released version will be used by default
#============================================
ARG CHROME_DRIVER_VERSION
RUN if [ -z "$CHROME_DRIVER_VERSION" ]; \
  then CHROME_MAJOR_VERSION=$(google-chrome --version | sed -E "s/.* ([0-9]+)(\.[0-9]+){3}.*/\1/") \
    && NO_SUCH_KEY=$(curl -ls https://chromedriver.storage.googleapis.com/LATEST_RELEASE_${CHROME_MAJOR_VERSION} | head -n 1 | grep -oe NoSuchKey) ; \
    if [ -n "$NO_SUCH_KEY" ]; then \
      echo "No Chromedriver for version $CHROME_MAJOR_VERSION. Use previous major version instead" \
      && CHROME_MAJOR_VERSION=$(expr $CHROME_MAJOR_VERSION - 1); \
    fi ; \
    CHROME_DRIVER_VERSION=$(wget --no-verbose -O - "https://chromedriver.storage.googleapis.com/LATEST_RELEASE_${CHROME_MAJOR_VERSION}"); \
  fi \
  && echo "Using chromedriver version: "$CHROME_DRIVER_VERSION \
  && wget --no-verbose -O /tmp/chromedriver_linux64.zip https://chromedriver.storage.googleapis.com/$CHROME_DRIVER_VERSION/chromedriver_linux64.zip \
  && rm -rf /opt/selenium/chromedriver \
  && unzip /tmp/chromedriver_linux64.zip -d /opt/selenium \
  && rm /tmp/chromedriver_linux64.zip \
  && mv /opt/selenium/chromedriver /opt/selenium/chromedriver-$CHROME_DRIVER_VERSION \
  && chmod 755 /opt/selenium/chromedriver-$CHROME_DRIVER_VERSION \
  && sudo ln -fs /opt/selenium/chromedriver-$CHROME_DRIVER_VERSION /usr/bin/chromedriver

安装字体

#================
# Font libraries
#================
# libfontconfig            ~1 MB
# libfreetype6             ~1 MB
# xfonts-cyrillic          ~2 MB
# xfonts-scalable          ~2 MB
# fonts-liberation         ~3 MB
# fonts-ipafont-gothic     ~13 MB
# fonts-wqy-zenhei         ~17 MB
# fonts-tlwg-loma-otf      ~300 KB
# ttf-ubuntu-font-family   ~5 MB
#   Ubuntu Font Family, sans-serif typeface hinted for clarity 在Debian里面也可以用
# Removed packages:
# xfonts-100dpi            ~6 MB
# xfonts-75dpi             ~6 MB
# fonts-noto-color-emoji   ~10 MB
# Regarding fonts-liberation see:
#  https://github.com/SeleniumHQ/docker-selenium/issues/383#issuecomment-278367069
# Layer size: small: 50.3 MB (with --no-install-recommends)
# Layer size: small: 50.3 MB
RUN apt-get -qqy update \
  && apt-get -qqy --no-install-recommends install \
    libfontconfig \
    libfreetype6 \
    xfonts-cyrillic \
    xfonts-scalable \
    fonts-liberation \
    fonts-ipafont-gothic \
    fonts-wqy-zenhei \
    fonts-tlwg-loma-otf \
    ttf-ubuntu-font-family \
    fonts-noto-color-emoji \
  && rm -rf /var/lib/apt/lists/* \
  && apt-get -qyy clean

下载webdriver

下载对应版本的webDriver,这里下载90版本的

http://chromedriver.storage.googleapis.com/index.html

Dockfile

前期准备工作已经就绪，需要注意，我这里用的是本地先下载好安装包，本地安装的方式，如果是在线安装，就把本地安装的代替掉

FROM ubuntu:18.04

RUN mkdir /google

#==============================
# copy chrome and driver
#==============================
COPY chromium-browser_90.0.4430.72-0ubuntu0.16.04.1_amd64.deb \
    chromedriver \
	chromium-codecs-ffmpeg-extra_90.0.4430.72-0ubuntu0.16.04.1_amd64.deb \
    /google/

#==============================
# Locale and encoding settings，install fonts and chrome，python3.6 pip3
#==============================
ENV LANG_WHICH en
ENV LANG_WHERE US
ENV ENCODING UTF-8
ENV LANGUAGE ${LANG_WHICH}_${LANG_WHERE}.${ENCODING}
ENV LANG ${LANGUAGE}
# Layer size: small: ~9 MB
# Layer size: small: ~9 MB MB (with --no-install-recommends)
RUN apt-get -y update \
  && apt-get -y --no-install-recommends install \
    language-pack-en \
    tzdata \
    locales \
  && locale-gen ${LANGUAGE} \
  && dpkg-reconfigure --frontend noninteractive locales \
  && apt-get -y autoremove \
  && apt-get -y --no-install-recommends install \
    libfontconfig \
    libfreetype6 \
    xfonts-cyrillic \
    xfonts-scalable \
    fonts-liberation \
    fonts-ipafont-gothic \
    fonts-wqy-zenhei \
    fonts-tlwg-loma-otf \
    ttf-ubuntu-font-family \
    fonts-noto-color-emoji \
    python3.6  python3-pip \
  && apt-get install -y --no-install-recommends  \
      /google/chromium-codecs-ffmpeg-extra_90.0.4430.72-0ubuntu0.16.04.1_amd64.deb  \
     /google/chromium-browser_90.0.4430.72-0ubuntu0.16.04.1_amd64.deb \
  && rm -rf /var/lib/apt/lists/* \
  && apt-get -qyy clean

#==============================
# pip3 install selenium
#==============================
RUN pip3 install selenium

目录结构

在这里插入图片描述

构建命令

在当前目录下面运行build命令

docker build . -t test/chrome:90

进入容器查看

在这里插入图片描述

基于Debian

和上面相比，主要是安装包不一样，别的都一样， chrome也得下载对应的版本

这里安装的chrome的版本是108的

下载对应平台的安装包

需要安装两个东西

  1. chromium（108.0.5359.94-1~deb11u1）

    • 访问页面

      https://packages.debian.org/bullseye/chromium

    • 下载链接

      https://packages.debian.org/bullseye/amd64/chromium/download

  2. chromium-common（108.0.5359.94-1~deb11u1）

    • 访问页面

      https://packages.debian.org/bullseye/chromium-common

    • 下载链接

      https://packages.debian.org/bullseye/amd64/chromium-common/download

要注意，webdriver也需要下载108的

Dockerfile

FROM ubuntu:18.04

RUN mkdir /google

#==============================
# copy chrome and driver
#==============================
COPY chromium-common_108.0.5359.94-1~deb11u1_amd64.deb \
    chromedriver \
	chrome/chromium_108.0.5359.94-1~deb11u1_amd64.deb \
    /google/

#==============================
# Locale and encoding settings，install fonts and chrome，python3.6 pip3
#==============================
ENV LANG_WHICH en
ENV LANG_WHERE US
ENV ENCODING UTF-8
ENV LANGUAGE ${LANG_WHICH}_${LANG_WHERE}.${ENCODING}
ENV LANG ${LANGUAGE}
# Layer size: small: ~9 MB
# Layer size: small: ~9 MB MB (with --no-install-recommends)
RUN apt-get -y update \
  && apt-get -y --no-install-recommends install \
    language-pack-en \
    tzdata \
    locales \
  && locale-gen ${LANGUAGE} \
  && dpkg-reconfigure --frontend noninteractive locales \
  && apt-get -y autoremove \
  && apt-get -y --no-install-recommends install \
    libfontconfig \
    libfreetype6 \
    xfonts-cyrillic \
    xfonts-scalable \
    fonts-liberation \
    fonts-ipafont-gothic \
    fonts-wqy-zenhei \
    fonts-tlwg-loma-otf \
    ttf-ubuntu-font-family \
    fonts-noto-color-emoji \
    python3.6  python3-pip \
  && apt-get install -y --no-install-recommends  \
      /google/chromium-common_108.0.5359.94-1~deb11u1_amd64.deb  \
     /google/chrome/chromium_108.0.5359.94-1~deb11u1_amd64.deb \
  && rm -rf /var/lib/apt/lists/* \
  && apt-get -qyy clean

#==============================
# pip3 install selenium
#==============================
RUN pip3 install selenium

ps：需要注意，我这里在安装成功之后并没有删除deb包，可以在上面结束之后删除掉。

Python 代码

这里是将网页导出PDF

import base64
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.support.ui import WebDriverWait
import time

option = webdriver.ChromeOptions()
option.add_argument("--headless")
option.add_argument("--no-sandbox")
driver = webdriver.Chrome(executable_path="/usr/src/app/chromedriver", port = 5055,options=option)
# 绑定命令
driver.command_executor._commands["SendCommand"] = ("POST","/session/$sessionId/chromium/send_command")
driver.command_executor._commands["executeCdpCommand"] = ("POST","/session/$sessionId/goog/cdp/execute")

driver.get("https://www.baidu.com/")
time.sleep(10)
driver.set_page_load_timeout(300) # set page load time out for wait pdf render
param = {"paperWidth": 8.27,"paperHeight": 11.69,"printBackground": True}
page_res = driver.execute("executeCdpCommand", {"cmd": "Page.printToPDF", "params": param})["value"]
img_byte_arr = base64.b64decode(page_res["data"])

with open("/test1.pdf","wb") as f:
    f.write(img_byte_arr)

这里保存在容器里面，需要通过cp命令从容器copy出来才可以查看
在这里插入图片描述相关的可以看

https://stackoverflow.com/questions/49614217/selenium-clear-chrome-cache

https://chromedevtools.github.io/devtools-protocol/tot/Storage/
https://peter.sh/experiments/chromium-command-line-switches/#hide-scrollbars
https://stackoverflow.com/questions/53902507/unknown-error-session-deleted-because-of-page-crash-from-unknown-error-cannot

daliucheng
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2023 最新可用Google镜像地址 长期更新
_
11-14 8428
2023 最新可用Google镜像地址 长期更新
Chromium源代码的GitHub官方镜像-C/C++开发
05-26
Chromium Chromium是一个开放源代码的浏览器项目，旨在为所有用户构建更安全，更快，更稳定的方式来体验Web。 该项目的网站是https://www.chromium.org。 Chromium中的文档Chromium是一个开放源代码的浏览器项目，旨在为所有用户构建一种更安全，更快，更稳定的方式来体验网络。 该项目的网站是https://www.chromium.org。 源文件中的文档植根于docs / README.md。 了解如何解决Chromium源代码目录结构。
搭建个人专用的谷歌搜索镜像站---学习笔记
weixin_34085658的博客
09-15 1152
从事技术工作的朋友一般都会深谙至少一种打开谷歌搜索的方法，新手可以选择修改hosts，善于折腾的也可以考虑自建***等等。今天帮某位程序猿同学在廉价的美国主机上搭建一个简易的谷歌搜索镜像站，给大家分享一下搭建方法。说明一下，在国外垃圾主机上自建的谷歌镜像站不建议公开分享，最好独享或者只分享给极少部分的朋友使用。 某大佬的谷歌镜像站：http://google.wanghualang.com （镜...
谷歌搜索和谷歌学术镜像
m0_75015083的博客
11-19 1218
站点① : https://www.google-fix.com/ (原生态Google内容，但打开速度较慢)站点② : http://scholar.hedasudi.com/站点① : https://xueshu.lanfanshu.cn/站点③ : http://scholar.hedasudi.com/站点② : https://xue.glgoo.net/站点③ : https://ac.scmor.com/站点④：https://g.vovososo.com/
最新可用Google镜像、Google学术镜像站点（2024 年3月更新）
最新发布
小恐龙跳跳
03-28 1万+
最新可用Google镜像、Google学术镜像站点（2024 年3月更新）
构建带有 chrome 环境和 node 环境的镜像
weixin_35755823的博客
01-13 153
为了构建带有 chrome 环境和 node 环境的镜像，您需要: 找到一个合适的基础镜像，如 ubuntu 或 centos。 在基础镜像上安装 chrome 和 node 环境。 使用 Dockerfile 指令来配置镜像环境，如安装必要的软件包、配置环境变量、复制文件等。 使用 Docker 命令来构建镜像。 具体实现可以参考如下的Dockerfile示例： FROM ubunt...
google虚拟化_5大最新云原生镜像构建工具全解析，3个来自Google，你了解几个？...
weixin_39608063的博客
11-28 341
1云原生大背景下的镜像构建在分享开始，我想先跟大家简单聊一下云原生，可能不会详细展开，而是带领大家了解一下云原生对镜像构建方面的影响。第一，在接触云原生相关的技术时，无论是要解决开发、测试环境的问题，还是解决日常开发、测试等相关的操作和流程，我们经常都会谈到持续集成。持续集成首先要做代码的集成，不同的feature一起交付，使用持续集成的理念尽快把代码合并，保证代码没有冲突，这是持续集成最简单的一...
google镜像网址收集
_
06-07 6232
google镜像网址收集
最新可用的谷歌google镜像/Sci-Hub可用网址/Github镜像等等各种可用镜像网址总结
热门推荐
代码讲故事
02-25 3万+
最新可用的谷歌google镜像/Sci-Hub可用网址/Github镜像等等各种可用镜像网址总结。
【202211】国内镜像源地址
人在电子厂，已经码到失联
11-09 2432
Ubuntu、Python、Nodejs、MySQL、Git、Chromium、Docker、Homebrew 等一系列的常用最推荐的镜像源。可能是最好的国内镜像站，最吸引人的特点是1）帮助文件最全面最好用；2）镜像源数量最多。也有个别其他镜像源没有的，比如 ChromeDriver，似乎在其他镜像站没找到过。不足之处是镜像源数量较少，比腾讯源少，很多软件目前都没有，比如 GitLab。软件数量和帮助文件尽管略逊于清华源，但还不错了，比阿里源好不少。软件数量还行，比阿里源多。
MFC通过CEF封装Chrome浏览器内核
03-22
MFC通过CEF封装Chrome浏览器内核的Demo,实现网页的前进、后退功能
centos 封装 nginx 镜像
01-01
https://blog.csdn.net/weixin_46560589/article/details/128505651 文章【云原生 | Kubernetes 实战】20、K8s Ingress 实现业务灰度发布中模拟部署生产测试版本 Web 服务所需镜像文件。
C# 封装的Chrome 浏览器
06-08
万恶的IE，终于可以不用了，适合于混合式移动开发。 换了我一天时间才搞定Xilium.Cefglue 找到适合版本的cef_binary 正不容易。包括cefdll
镜像封装工具
03-26
镜像封装工具用于系统的封装安装
windows下用vc简单封装chrome和ie双内核的demo
04-15
使用的是95.7.18/4638的谷歌内核，release用的是自己编译的支持mp4的版本(除了sandbox.lib用了官方编译版本)，debug用的官方编译版本。 关于自己编译支持mp4版本的cef，我也提供出来了，可以查看我另外文章。
让镜像漏洞无处藏身，Google推出容器镜像扫描功能
Galaxy_0的博客
02-18 136
让镜像漏洞无处藏身，Google推出容器镜像扫描功能
网站镜像工具_推荐3个稳定可用的谷歌学术镜像网站
weixin_39706441的博客
12-18 9109
提供谷歌学术搜索镜像和谷歌网页搜索镜像,提供稳定可用的镜像网站。国内外免费文献下载入口，科研工具、专利标准、基金申请、期刊信息，科研成果等科研人员必备良站，为广大科研人员提供最简单便捷的科研学术上网导航服务。1、大木虫学术导航大木虫学术导航——科研人员学术研究第一站。本站涵盖Google学术镜像入口，国内外免费文献下载入口，科研工具、专利标准、基金申请、期刊信息，科研成果等科研人员必备良站，为广大...
用 python:alpine 应用容器制作 selenium+chromium 的 docker 镜像，并设置中文支持
zyy247796143的博客
03-03 3574
使用 python:3.8.8-alpine3.13 的应用镜像，制作 selenium+chromium 的 docker 镜像，并设置中文支持。
封装chrome浏览器
10-18
要封装Chrome浏览器，你可以使用Selenium WebDriver。Selenium是一个自动化测试工具，可以模拟用户在浏览器中的操作，包括打开网页、填写表单、点击按钮等等。以下是一个简单的Python代码示例，演示如何使用Selenium WebDriver打开Chrome浏览器并访问网页： ```python from selenium import webdriver # 创建Chrome浏览器实例 driver = webdriver.Chrome() # 访问网页 driver.get("https://www.baidu.com") # 关闭浏览器 driver.quit() ``` 在这个示例中，我们首先导入了Selenium的webdriver模块，然后创建了一个Chrome浏览器实例。接着，我们使用get()方法访问了百度首页，并最终使用quit()方法关闭了浏览器。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值