python 使用selenium爬取网页并分类保存到本地文件夹

在这里插入图片描述
以上是咱们今天要爬取的图片,可以看到这个游戏壁纸主题有35页,咱们不是要爬取这35 页的图片。这个页面的尺寸也不是高清原图。我们发现点进去后能看到高清图,如下:
在这里插入图片描述

        这个就是咱们想要的内容了,这个页面主图是只有一张,蒙多这个主题是有10张的,我们可以在主图上点击下一页,跳转到下一张。这里很适合我们使用selenium去爬取了。


        直接来分享我的爬取思路吧,代码如下:

from selenium import webdriver
from lxml import etree
import time
import os
import requests
path='e:/desketop/picture/'


driver = webdriver.Chrome()
driver.implicitly_wait(20)
def save(url):
    driver.get(url)
    title=driver.find_element_by_css_selector('.arc_main_pic_img').get_attribute('title')
    src=driver.find_element_by_css_selector('.arc_main_pic_img').get_attribute('src')
    # print(src)
    r
Selenium是一个用于自动化浏览器操作的工具,可以通过编写代码来模拟用户在浏览器中的操作。如果你想要使用Selenium来批量下载图片,可以按照以下步骤进行操作: 1. 首先,确保你已经安装了PythonSelenium库。你可以使用pip命令来安装Selenium库:`pip install selenium`。 2. 接下来,你需要下载并安装对应浏览器的驱动程序。Selenium需要驱动程序来控制浏览器。不同的浏览器需要不同的驱动程序。例如,如果你使用的是Chrome浏览器,你需要下载ChromeDriver;如果你使用的是Firefox浏览器,你需要下载geckodriver。你可以在Selenium官方网站上找到对应的驱动程序下载链接。 3. 安装完成后,你可以通过以下代码示例来使用Selenium批量下载图片: ```python from selenium import webdriver # 创建一个浏览器实例 driver = webdriver.Chrome() # 如果使用的是Chrome浏览器,需要指定ChromeDriver的路径 # 打开网页 driver.get("http://example.com") # 替换成你要下载图片的网页地址 # 定位图片元素 images = driver.find_elements_by_tag_name("img") # 遍历图片元素并下载图片 for image in images: image_url = image.get_attribute("src") # 下载图片的逻辑,这里可以使用Python的requests库或其他下载图片的方法 # 关闭浏览器 driver.quit() ``` 在上述代码中,我们首先创建了一个浏览器实例,然后打开了指定的网页。接着,通过定位图片元素,我们可以获取到网页中的所有图片。最后,我们可以遍历图片元素,并通过下载图片的逻辑来下载每个图片。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值