利用Pycharm+selenium+chromedriver测试浏览器

最新推荐文章于 2024-10-08 10:37:43 发布

lonesome_zxq

最新推荐文章于 2024-10-08 10:37:43 发布

阅读量1.5k

点赞数

分类专栏： Python 学习笔记

本文链接：https://blog.csdn.net/lonesome_zxq/article/details/84937854

版权

本文介绍了在Python抓取动态网页遇到问题后，如何利用selenium和chromedriver进行解决。在尝试代码时遇到错误，通过查阅资料得知需要指定Chromedriver的安装路径作为参数。下载并配置好chromedriver后，代码成功运行。

摘要由CSDN通过智能技术生成

背景

在抓取动态网页失败的时候，了解到selenium+chromedriver可以比较方便实现动态网页抓取-利用Python抓取煎蛋网妹子图，但是仿照案例中写的代码运行出错。

源代码（测试代码，没有参考学习价值，仅供测试）：

# -*- coding:utf-8 -*-

import urllib.request
import json
import os
import re
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.chrome.options import Options

# 下载page_number页前的所有图片
# def
s = r'img src=\"(.+jpg)'
re_hmtl = re.compile(s)

def getPage(url):
    chrome_options = Options()
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
    driver = webdriver.Chrome(chrome_options = chrome_options)
    dirver.get(url)
    return driver.page_source


def save_imgs(folder, page_number):
    if(os.path.exists(folder)