Selenium 爬取百度图片

本文介绍如何利用Selenium工具进行动态网页的爬虫实践,以百度图片搜索为例,详细讲解设置搜索条件、模拟点击、下载图片等步骤,帮助读者掌握自动化网页交互爬取数据的方法。
摘要由CSDN通过智能技术生成

Selenium 爬取百度图片

# coding=utf-8
"""
获取10张百度图片
"""

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
import time, requests


def download_img(kw):
    # 打开浏览器
    browser = webdriver.Chrome()
    time.sleep(3)

    # 对方访问对应的网页
    url = r'https://image.baidu.com/'
    browser.get(url)
    time.sleep
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Selenium是一个自动化测试工具,可以模拟用户对网页的操作,因此可以用来爬取百度文库的图片。在这个过程中,我们需要用到Python的Selenium库,以及ChromeDriver或者其他浏览器驱动来控制浏览器。 首先,我们需要打开百度文库的页面,并登录账号,如果不登录无法访问文库的图片。我们可以用Selenium模拟登录,输入账户名和密码,然后点击登录。在登录成功的情况下,我们就可以访问文库的内容。 接着,我们需要定位到文库页面中的所需要的图片。这一步可以通过XPath或CSS Selector等方式来实现。然后,我们可以用Selenium的find_element_by_xpath或者find_element_by_css_selector方法来定位图片,并获取图片的属性,比如图片的URL。通过获取URL,我们就可以将图片保存到本地或者上传到其他网站当中。 下面是一个比较简单的爬取百度文库图片的代码段: ```python from selenium import webdriver import urllib.request # 设置ChromeDriver路径 driver_path = 'C:\chromedriver_win32\chromedriver.exe' # 创建浏览器对象 browser = webdriver.Chrome(driver_path) # 打开百度文库登录界面 browser.get('https://wenku.baidu.com/') # 输入账户名和密码并点击登录 browser.find_element_by_id('loginUserName').send_keys('your_username') browser.find_element_by_id('loginPassword').send_keys('your_password') browser.find_element_by_link_text('登录').click() # 定位到图片 image = browser.find_element_by_xpath('//img[@class="doc-image"]') # 获取图片URL image_url = image.get_attribute('src') # 下载图片 urllib.request.urlretrieve(image_url, 'image.jpg') # 关闭浏览器 browser.quit() ``` 上面的代码中,我们首先设置了ChromeDriver的路径,然后打开浏览器并访问百度文库的登录页面。接着,输入账户名和密码,并点击登录按钮。在登录成功后,我们定位到文库页面中的图片,获取图片的URL并下载图片到本地。 总的来说,使用Selenium爬取百度文库图片比较简单,只需要模拟登录和定位图片等操作即可。不过需要注意的是,在爬取数据的过程中不要过于频繁,否则会被百度封禁。建议设置合理的时间间隔和获取数据数量,并且遵守网站的使用规定。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值