爬虫之Selenium

已于 2022-12-08 22:38:17 修改
阅读量895 收藏
点赞数
文章标签： selenium python 测试工具
于 2022-12-07 21:07:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60255954/article/details/128226786
版权

目录

基本用法

查找节点

查找单个节点

查找多个节点

节点交互

点击

 模拟鼠标移动

拖动节点

执行JavaScript代码

获取节点信息

管理cookie

改变节点属性值

基本用法

运行本例之前，需要将chromedriver或chromedriver.exe文件放在当前目录的webdriver子目录中。

运行程序，会立刻启动Chrome浏览器，并打开京东首页，然后在京东首页上方的搜索框中输入“Python从菜鸟到高手”

WebDriverWait类，该类是为了在执行的过程中等待一段时间，这里设置为4秒。、

按Enter键后，并不一定马上显示搜索结果，需要有一定的延长，但python程序不会等待搜索结果出来再往下执行，python程序会一直执行下去，所以如果不等待一定时间，就会造成python程序已经运行到处理搜索结果页面的位置时，搜索结果页面还没显示出来。所以就需要使用WebDriverWait类的until方法判断结果页面是否显示完成。

判断搜索结果页面是否显示完全：如果搜索页面加载完成，页面中所有的节点肯定已经加载完成了，所以只要随便获取页面中的某个节点，如果获取成功，说明已经加载完成。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as ec
browser=webdriver.Chrome('D:\chromedriver_win32\chromedriver')
try:
    # 打开京东
    browser.get('https://www.jd.com/')
    # 根据id属性的值查找搜索框
    input1=browser.find_element(By.ID,'key')
    # 使用send_keys方法向搜索框输入"python从菜鸟到高明"文本
    input1.send_keys('python从菜鸟到高明')
    # 使用send_keys方法模拟按下<Enter>键
    input1.send_keys(Keys.ENTER)
    # 创建WebDriverWait对象,设置最长等待时间(4秒)
    wait=WebDriverWait(browser,4)
    # 等待搜索页面显示(通过查找id为goodsList的节点判断搜索页面是否显示)
    wait.until(ec.presence_of_all_elements_located((By.ID,'J_goodsList')))
    # 显示搜索页面的标题
    print(browser.title)
    # 显示搜索页面的URL
    print(browser.current_url)
    # 显示搜索页面的代码
    print(browser.page_source)
    # 关闭浏览器
    browser.close()
except Exception as e:
    print(e)
    browser.close()

查找节点

查找单个节点

看源码可知，browser.find_element方法支持（id，name，class_name元素定位）

    def find_element(self, by=By.ID, value: Optional[str] = None)
        if by == By.ID:
            by = By.CSS_SELECTOR
            value = '[id="%s"]' % value
        elif by == By.CLASS_NAME:
            by = By.CSS_SELECTOR
            value = ".%s" % value
        elif by == By.NAME:
            by = By.CSS_SELECTOR
            value = '[name="%s"]' % value

查找多个节点

方法同上
区别：browser.find_elements返回一个列表，包含符合条件的所有节点，如果没有符合条件的节点，就会返回空列表（长度为0的列表）

节点交互

点击

click()

 模拟鼠标移动

使用actions.move_to_element方法,以下为ActionChains类常用方法

1、perform()：执行所有ActionChains中存储的行为

2、context_click()：右击

3、double_click()：双击

4、move_to_element()：悬停

5、drag_and_drop(source, target)：拖动

最后都必须调用perform方法才能生效

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver import ActionChains
import time
browser=webdriver.Chrome('D:\chromedriver_win32\chromedriver')
try:
    browser.get('https://www.jd.com/')
    # 创建ActionChains对象
    actions=ActionChains(browser)
    # 通过CSS选择器查找所有class属性值为cate_menu_item的li节点,每一个li节点是一个二级导航菜单
    li_list=browser.find_elements(By.CSS_SELECTOR,'.cate_menu_item')
    for li in li_list:
        actions.move_to_element(li).perform()
        time.sleep(1)
except Exception as e:
    print(e)
    browser.close()

拖动节点

使用drag_and_drop方法拖到节点

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver import ActionChains
browser=webdriver.Chrome('D:\chromedriver_win32\chromedriver')
try:
    browser.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
    # 切换到id属性值为iframeResult的iframe节点上
    browser.switch_to.frame('iframeResult')
    # 使用CSS选择器获取id属性值为draggable的拖动节点
    sourse=browser.find_element(By.CSS_SELECTOR,'#draggable')
    # 使用CSS选择器获取id属性值为droppable的接收节点
    target = browser.find_element(By.CSS_SELECTOR, '#droppable')
    # 创建ActionChains对象
    actions=ActionChains(browser)
    # 调用drag_and_drop方法拖动节点
    actions.drag_and_drop(sourse,target)
    # 调用perfrom方法让拖动生效
    actions.perform()
except Exception as e:
    print(e)
    browser.close()

执行JavaScript代码

有些操作Selenium没有提供相应的API,例如下拉页面
可以使用Selenium得execute_script方法直接运行JavaScript代码,便于扩展Selenium功能

from selenium import webdriver
browser=webdriver.Chrome('D:\chromedriver_win32\chromedriver')
browser.get('https://www.jd.com/')
# 将京东商城首页滚动到最底端
browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
# 弹出对话框
browser.execute_async_script('alert("已经到最底端")')
time.sleep(10)

获取节点信息

如节点位置（相当于页面绝对坐标）、节点名称、节点尺寸（高和宽）、节点属性值

from selenium import webdriver
from selenium.webdriver.common.by import By
options=webdriver.ChromeOptions()
# 添加参数，不然Chrome浏览器显示，只在后台运行
options.add_argument('headless')
browser=webdriver.Chrome('D:\chromedriver_win32\chromedriver',chrome_options=options)
browser.get('https://www.jd.com/')
# 查找页面中id属性值为navitems-group1的第1个节点(是一个ul节点)
ul=browser.find_element(By.ID,'navitems-group1')
# 输出节点的文本
print(ul.text)
# 输出节点内部使用的id，注意，不是id属性值
print('id','=',ul.id)
# 输出节点的位置(相对于页面的绝对坐标)
print('location','=',ul.location)
# 输出节点的名称
print('tag_name','=',ul.tag_name)
# 输出节点的尺寸
print('size','=',ul.size)
# 搜索该节点内的所有名为li的节点
li_list=ul.find_elements(By.TAG_NAME,'li')
for li in li_list:
    # 输出li的类型
    print(type(li))
    # 输出li节点的文本和class属性值,如果属性没找到,返回None
    print('<',li.text,'>','class=',li.get_attribute('class'))
    # 查找li节点内名为a的子节点
    a=li.find_element(By.TAG_NAME,'a')
    # 输出a节点的href属性值
    print('href','=',a.get_attribute('class'))
browser.close()

基于selenium的爬虫通常会加上headless选项、这样爬取数据过程就不会弹出Chrome浏览器，但是他会在后台进行页面加载、数据提取等工作

管理cookie

获取cookie，添加cookie，删除cookie

from selenium import webdriver
browser=webdriver.Chrome('D:\chromedriver_win32\chromedriver')
browser.get('https://www.jd.com/')
# 获取cookie列表
print(browser.get_cookies())
# 添加新的cookie
browser.add_cookie({'name':'name','value':'jd','domain':'www.jd.com'})
print(browser.get_cookies())
# 删除所有的cookie
browser.delete_all_cookies()
print(browser.get_cookies())

改变节点属性值

selenium没有改变节点属性的API，所以要通过JavaScript代码改变
通过selenium获取的节点可以直接作为DOM使用，意味着在JavaScript代码使用查找到的节点
execute_script方法第1个参数用于指定JavaScript代码，后面的可变参数，可以为JavaScript代码传递参数。通过arguments变量获取每一个参数值，例如arguments[0]第一个参数arguments[0]第二个参数，以此类推

例子1：使用JavaScript代码改变百度搜索按钮的位置，让这个按钮多个位置移动，2秒一次

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
browser=webdriver.Chrome('D:\chromedriver_win32\chromedriver')
browser.get('https://www.baidu.com')
# 查找百度搜索按钮
search_button=browser.find_element(By.ID,'su')
# 定义搜索按钮可以移动的x坐标的位置
x_positions=[50,90,130,170]
# 定义搜索按钮可以移动的y坐标的位置,与x坐标列表中元素的个数要相等
y_positions=[100,120,160,90]
# 迭代位置列表，每隔2秒移动一次搜索按钮
for i in range(len(x_positions)):
    # 用于移动搜索按钮的JavaScript代码，arguments[0]就是搜索按钮对应的DOM
    js="""
    arguments[0].style.position="absolute";
    arguments[0].style.left="{}px"
    arguments[0].style.top="{}px";
    """.format(x_positions[i],y_positions[i])
    # 执行JavaScript代码，并开始移动搜索按钮
    browser.execute_script(js,search_button)
    time.sleep(2)

例子2：修改页面文本以及链接

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
browser=webdriver.Chrome('D:\chromedriver_win32\chromedriver')
browser.get('https://www.jd.com')
# 查找id属性值为navitems-group1的节点
ul=browser.find_element(By.ID,'navitems-group1')
# 查找该节点下所有名为li的子节点
li_list=ul.find_elements(By.TAG_NAME,'li')
# 查找第1个li节点中第一个名为a的子节点
a1=li_list[0].find_element(By.TAG_NAME,'a')
# 查找第2个li节点中第一个名为a的子节点
a2=li_list[1].find_element(By.TAG_NAME,'a')
# 下面的JavaScript代码用于修改上面查找到的两个a节点的文本和链接（href属性值）
js="""
arguments[0].text='Python从菜鸟到高手'
arguments[0].href='https://item.jd.com/12417265.html'
arguments[1].text='极客起源'
arguments[1].href='https://geekori.com'
"""
browser.execute_script(js,a1,a2)
time.sleep(5)

Spark_zzz
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
获取所有的 ＜li＞ 标签
zhaoyangjian724的专栏
11-30 2966
获取所有的&lt;li&gt;标签 &lt;html&gt;&lt;body&gt;&lt;div&gt; &lt;ul&gt; &lt;li class="item-0"&gt;a01&lt;a href="link1.html"&gt;first item&lt;/a&gt;&lt;/li&
05.DOM 查询练习-节点练习
HWP
03-16 910
尾部附上整体代码！ 1， //1.查找#bj节点 document.getElementById('btn01').onclick = function () { var biObj = document.getElementById("bj") alert(biObj.innerHTML) } 结果： 2, //2.查找所有li节点 var btn...
XPath 学习
abcque的专栏
04-27 486
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>index</title> </head> <body> <div> <ul> <li class="item-0"><a href="link1.html">f.
python爬虫--数据解析
xlh006的博客
08-29 748
我敲，辣鸡设计，也怪我手贱，csdn的用书体验设计还得加强。又从头再来 先在chrome浏览器中安装 xpath helper 插件。   1.xpath的语法 可以去菜鸟教程学习。 python爬虫中xpath的使用方法 前言 这里默认读者已经按照lxml包，因此在使用一下案例的使用，第一步就是导入包： from lxml import etree 1 使用案例 这里都使用...
Pyquery库_02
m0_60255954的博客
11-26 226
1)用pyquery查询节点时,如果需要指定多个样式,每个样式前面需要加点(.),而且多个样式要首尾相续,中间不能有空格。add_class方法可以向节点的class属性添加样式,remove_class可以从节点的class属性移除样式。2)添加和删除样式时,样式名不能带点(.),否则会将(.)作为样式名的一部分添加到class属性中。4)如果需要操作多个节点,add_class和remove_class方法对所有节点有效。3)添加和删除多个样式时,多个样式之间用空格分隔。如果多个样式,中间用空格隔开。
节点操作 ------------- 子节点
weixin_52212950的博客
02-23 488
有父节点，也有子节点，例如在列表中获取一堆 li 标签就显得很便捷 子节点： childNodes：可以看出输出结果为9个，但是明明只有四个元素，那剩下的五个是什么呢？可以看到每个 li 标签换行时有回车，回车算文本节点，也就是这个方法会把元素节点和文本节点都输出出来 <ul class="father"> <li></li> <li></li> <li...
selenium---元素定位（find_element）
热门推荐
qq_54426859的博客
07-20 1万+
find_element属于定位元素的一种方法，包含了常用的定位方法。在使用find——element 时 一定要导入相关的包，不然会报错。
【parsel】------- PYTHON爬虫基础4
weixin_47296493的博客
05-30 986
parsel 这个库可以对 HTML 和 XML 进行解析，并支持使用 XPath 和 CSS Selector 对内容进行提取和修改，同时它还融合了正则表达式提取的功能。
python 获取li的内容_Python爬虫新手入门（五）爬虫之xpath与lxml库的使用！
weixin_39971435的博客
11-20 328
目录：一、xpath介绍二、xpath的使用一、xpath介绍1.基本概念XPath（XML Path Language）是一种XML的查询语言，它能在XML树状结构中寻找节点。XPath 用于在 XML 文档中通过元素和属性进行导航。xml是一种标记语法的文本格式，xpath可以方便的定位xml中的元素和其中的属性值。其中，lxml是python中的一个包，这个包中包含了将html文本转成xml...
python小白爬取新浪li标签的超链接和内容
m0_53579703的博客
05-26 2460
新浪页面分析： 新浪的主页大部分新闻内容都是通过li标签列出来，然后再在li标签里面加个a标签，用来存超链接和内容 通过上面的分析，可以通过正则找到所有<li>><a></a></li>格式的标签，代码如下: import re import requests def getHTMLText(url): #得到HTML的网页 try: kv = { "user-agent": "Mozilla/5.0 (
python爬虫之selenium-cookie操作
01-31
python爬虫之selenium--cookie操作。 在做自动化的时候，遇到难处理的验证码，我们可以手动登录，然后获取登录到的cookie，添加到浏览器中，就可以实现登录。具体操作看图片信息。以下只是提纲式列举一二，希望对你...
Python爬虫之Selenium警告框(弹窗)处理
01-19
JavaScript 有三种弹窗 Alert (只有确定按钮), Confirmation (确定,取消等按钮), Prompt (有输入对话框)，而且弹出的窗口是不能通过前端工具对其进行定位的，这个时候就可以通过switch_to.alert方法...
Python爬虫之selenium模拟浏览器
05-01
Python爬虫之selenium模拟浏览器，通过selenium模拟浏览器操作，达到访问百度首页并搜索的目的
Python爬虫之Selenium下拉框处理的实现
01-19
switch_to.alert.accept()：定位并接受现有警告框(详情请参考Python爬虫 – Selenium（9）警告框(弹窗)处理) click()：鼠标点击事件(其他鼠标事件请参考Python爬虫 – Selenium（5）鼠标事件) move_to_element()...
Python爬虫之Selenium实现键盘事件
12-16
一、常用按键 按键 说明 Keys.BACK_SPACE 回退键（BackSpace） Keys.TAB 制表键（Tab） Keys.ENTER 回车键（Enter） Keys.SHIFT 大小写转换键（Shift） Keys.CONTROL ...行尾键（End
python爬虫之Xpath和lxml学习笔记03
机器学习、数据挖掘
05-30 412
        XPath即为XML路径语言，它是一种用来确定XML（标准通用标记语言的子集）文档中某部分位置的语言。XPath基于XML的树状结构，有不同类型的节点，包括元素节点，属性节点和文本节点，提供在数据结构树中找寻节点的能力。 [1]  起初 XPath 的提出的初衷是将其作为一个通用的、介于XPointer与XSLT间的语法模型。但是 XPath 很快的被开发者采用来当作小型查询语言。...
selenium 获取所有子节点下全部内容
weixin_42497097的博客
03-30 996
https://blog.csdn.net/qq_39451578/article/details/104142215
python lxml库,lxml库的基本使用 - python学习教程_python基础教程_ python培训_ python入门...
weixin_32629285的博客
03-25 948
我们使用一个HTML示例文件做为素材来介绍lxml库的基本使用，该文件名为hello.html，内容如下：first itemsecond itemclass="bold">third itemfourth itemfifth item接下来，我们基于上述HTML文档，使用lxml库中的路径表达式技巧，通过调用xpath()方法匹配选取到的节点，具体如下：1. 获取任意位置的li节点可...
jquery查找节点 li
struts2
05-05 309
3-1 //节点 var $li = $("ul li:eq(1)"); // 获取第二个元素节点 var p_txt = $para.attr("title"); // 输出元素节点属性title var ul_txt = $li.attr("title"); // 获取里的第二个元素节点的属性title var l...
爬虫翻页 Selenium
最新发布
09-10
你好！关于爬虫翻页，你可以使用Selenium库来模拟浏览器操作。下面是一个示例代码，演示如何使用Selenium进行翻页操作： ```python from selenium import webdriver from selenium.webdriver.common.keys import Keys # 创建一个Chrome浏览器实例 driver = webdriver.Chrome() # 打开网页 driver.get("https://example.com") # 执行翻页操作 next_button = driver.find_element_by_xpath("//a[contains(text(), '下一页')]") next_button.click() # 关闭浏览器实例 driver.quit() ``` 在上面的示例代码中，我们首先创建了一个Chrome浏览器实例，然后使用`get`方法打开了指定的网页。接下来，我们使用`find_element_by_xpath`方法找到下一页的按钮元素，然后使用`click`方法模拟点击操作。最后，我们调用`quit`方法关闭浏览器实例。 当然，具体的翻页操作还需要根据你要爬取的网站的具体情况来确定。你需要查看网页源代码或者使用开发者工具来找到下一页按钮对应的XPath或CSS选择器。 希望这个示例能对你有所帮助！如果你有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值