使用python+selenium爬取下载车桌面网站图片

最新推荐文章于 2024-01-21 12:02:20 发布

是白白

最新推荐文章于 2024-01-21 12:02:20 发布

阅读量587

点赞数 3

文章标签： python selenium

本文链接：https://blog.csdn.net/m0_59874815/article/details/120765116

版权

本文介绍了使用Python结合Selenium爬取动态渲染的壁纸网站的方法，包括分析目标网站、获取图片详情页URL并重新请求、下载图片至本地的详细步骤。在抓取过程中，通过滚动条触发页面加载，利用XPath提取信息，并添加随机延迟以避免反爬机制。最终成功下载了多组和单张壁纸图片。

摘要由CSDN通过智能技术生成

兄弟们整活啦~

1、第一步分析目标网站如何

我们先随便输入一个需要爬取的关键字

url回车桌面-壁纸不应该只是一张图片,它应该是一门哲学 (enterdesk.com)https://www.enterdesk.com/

然后可以发现这个网站数据是可以通过动态渲染得到的

那我们F12呼出控制台输入如下代码document.documentElement.scrollTop=10000，来看看加载到最后是呈现出一个什么样的界面（这里我用的是谷歌浏览器，每个浏览器的代码有些许不一样）

输入时候回车可以看到，当加载完之后底部会出现一个 “已没有更多内容可显示”

那么这个时候目标就明确了，先上代码让它渲染然后我们在获取渲染之后的网页源代码

import os #创建文件
from  selenium import webdriver
import requests
from lxml import etree
from selenium.webdriver import ChromeOptions   #这个包用来规避被检测的风险
import time
from  urllib import request

option = webdriver.ChromeOptions()
option.add_experimental_option('useAutomationExtension', False)
option.add_experimental_option('excludeSwitches', ['enable-automation'])
driver_path = r'驱动的路径'  # 定义好路径
driver = webdriver.Chrome(executable_path=driver_path,options=option)  # 初始化路径+规避检测
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
    })
  "