selenium+chromedriver获取动态网页数据以及模拟鼠标操作后才能获得的数据

最新推荐文章于 2024-08-13 20:32:54 发布

blues_phone

最新推荐文章于 2024-08-13 20:32:54 发布

阅读量2k

点赞数

分类专栏： scrapy 文章标签： selenium 动态网页数据模拟鼠标操作

本文链接：https://blog.csdn.net/huangmengfeng/article/details/89762025

版权

本文介绍了如何利用selenium配合chromedriver来获取动态加载的网页数据，特别是那些需要通过鼠标点击或其他交互才能显示的内容。首先，确保下载与Chrome浏览器版本匹配的chromedriver。然后，通过selenium模拟鼠标操作，实现动态界面的交互，从而获取所需信息。最后，提供了相关源码供参考。

摘要由CSDN通过智能技术生成

1.下载chromedriver，记住chromedriver和chrome浏览器版本有对应关系

2.获得动态加载后的界面模拟鼠标操作，获得需要点击等特定操作后才能获得的动态加载的数据

3.源码：

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains



#下载后的chromedriver地址，我这里是windows版本的
CHROME_DRIVER_PATH = 'D:\\Code\imgageRecognition\\site_scrapy\\chromedriver.exe'



#下载动态界面，返回可被beatifulsoup4解析的数据
def get_dynamic_html(site_url):
    print('开始加载',site_url,'动态页面')
    chrome_options = webdriver.ChromeOptions()
    #ban sandbox
    chrome_options.add_argument('--no-sandbox')
    chrome_options.add_argument('--disable-dev-shm-usage')
    #use headless
    #chrom