安装selenium、Splash、Puppeteer

安装selenium

Seleinum 是一款使用代码操纵浏览器的框架,我们可以通过它驱动浏览器执行一些点击、滑动、输入指定字符等操作。

第一步下载chrome

下载安装chrome 忽略
在chrome设置查看chrome版本
image.png

第二步下载对应版本的chrome driver并配置环境变量

下载chrome driver 网址
http://chromedriver.storage.googleapis.com/index.html
没有?还有一个网址
https://googlechromelabs.github.io/chrome-for-testing/#stable
配置环境变量
image.png
image.png
image.png

第三步引入对应的python包即可

代码测试

$ python
>>> from selenium import webdriver
>>> browser = webdriver.Chrome()

使用docker 安装Splash

Splash是一个异步的JavaScript渲染服务。它是带有HTTP API的轻量级Web浏览器,能够并行处理多个页面请求,可以在页面上下文中执行自定义的JavaScript以及模拟浏览器中的点击、下滑等操作。Splash的安装方式有两种,一种是下载已经封装好的Docker镜像,另一种是从GitHub下载源码后安装,这里我推荐第一种安装方式。在安装好Docker后,只需要从DockerHub中拉取Splash镜像并运行即可,相关命令如下:

安装docker请找其他帖子,此处略

复制以下docker-compose代码到指定文件夹

version: '3.5'

services:     
  splash:
    container_name: splash
    image: scrapinghub/splash:latest
    ports:
      - 8050:8050
    volumes:
      - "/i/share/splash/:/data/image/"      #./预备存储网站截图的文件夹,根据自己需要配置
    restart: always
1.切换代码所在文件夹
cd .\电脑软件\docker\docker-compose-file\splash\

2.启动docekr容器
 docker-compose -f .\compose.yaml up -d

3.查看运行结果
docker ps -a

image.png
image.png

安装Puppeteer

使用Puppeteer可以完成大多数手动执行的操作。有开发者开源了支持Python的Puppeteer库,叫作Pyppeteer,其文档网址为https://miyakogi.github.io/pyppeteer/。要注意的是,它仅支持在Python 3.6+ 的环境下运行。同样,我们可以使用Python包管理工具pip来安装Pyppeteer,命令如下:

$ pip install pyppeteer
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要在 Docker 中安装 Splash 服务,您可以按照以下步骤进行操作: 1. 首先,确保您已经安装了 Docker。您可以在终端或命令提示符中运行 `docker --version` 来检查 Docker 的安装情况。 2. 创建一个新的目录来保存 Splash 的配置文件和数据。在终端或命令提示符中,执行以下命令: ``` mkdir splash cd splash ``` 3. 创建一个名为 `splash.ini` 的配置文件,用于配置 Splash 服务。您可以使用任何文本编辑器打开该文件,并将以下内容复制到 `splash.ini` 中: ``` [splash] slots=50 port=8050 verbose=false ``` 4. 创建一个名为 `docker-compose.yml` 的文件,用于定义 Docker 容器的配置。您可以使用任何文本编辑器打开该文件,并将以下内容复制到 `docker-compose.yml` 中: ```yaml version: '3' services: splash: image: scrapinghub/splash volumes: - ./splash.ini:/etc/splash/splash.ini ports: - "8050:8050" ``` 5. 在终端或命令提示符中,运行以下命令来启动 Splash 服务: ``` docker-compose up -d ``` 6. 等待一段时间,直到 Docker 容器成功启动。您可以运行以下命令来检查容器的状态: ``` docker-compose ps ``` 如果一切正常,您应该能够看到一个名为 `splash` 的容器正在运行。 现在,Splash 服务已经在 Docker 中安装并运行。您可以通过访问 `http://localhost:8050` 来访问 Splash 的 Web 界面,或者通过发送 HTTP 请求到 `http://localhost:8050/render.html` 来使用 Splash 的渲染功能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值