Python爬虫理论Pro | (7) Selenium详解

最新推荐文章于 2024-03-06 11:45:00 发布
最新推荐文章于 2024-03-06 11:45:00 发布
阅读量399 收藏 6
点赞数 1
分类专栏： Python3网络爬虫从理论到实践Improve 文章标签： Python爬虫理论Pro Selenium
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sdu_hao/article/details/97615679
版权

本篇博客，我们将介绍selenium的使用。Selenium是一个自动化测试工具，支持多种浏览器，在爬虫程序中主要用来解决Javascript的渲染问题。

目录

1. 基本使用

2. 查找元素

3. 元素交互操作

4. 获取元素信息

5. Frame

6. 等待

7. 其他

1. 基本使用

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Chrome() #浏览器驱动对象
try:
    browser.get('https://www.baidu.com') #打开网址
    input = browser.find_element_by_id('kw') #通过id查找元素 id="kw"
    input.send_keys('Python') #向元素敲入Python
    input.send_keys(Keys.ENTER) #敲回车
    wait = WebDriverWait(browser, 10) #显示等待
    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))
    print(browser.current_url) #请求url
    print(browser.get_cookies())#获取cookie
    print(browser.page_source) #获取网页源码(可以获取js渲染后的)
finally:
    browser.close()
  • 声明浏览器对象
from selenium import webdriver

browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()
  • 访问页面
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
print(browser.page_source)
browser.close()

 

2. 查找元素

  • 查找单个元素
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input_first = browser.find_element_by_id('q') #通过id获取元素 id="q"
input_second = browser.find_element_by_css_selector('#q') #通过css选择器获取元素 id="q"
input_third = browser.find_element_by_xpath('//*[@id="q"]')#通过xpath获取元素
print(input_first, input_second, input_third)
browser.close()
  • 查找单个元素的其他方法

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input_first = browser.find_element(By.ID, 'q') #通用查找函数 find_element() 第一个参数是方式 如By.ID，By.xpath等
print(input_first)
browser.close()
  • 查找多个元素
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
#查找多个元素 加s find_elements 函数接口和查找一个元素基本一致 就是加个s
#查找class="service-bd"的所有标签下的所有li标签
lis = browser.find_elements_by_css_selector('.service-bd li')
print(lis)
browser.close()
from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
#也可以使用通用函数 find_elements()  第一个参数是方式 By.
lis = browser.find_elements(By.CSS_SELECTOR, '.service-bd li')
print(lis)
browser.close()
  • 其他查找多个元素的函数

3. 元素交互操作

对获取的元素调用交互方法。

from selenium import webdriver
import time

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input = browser.find_element_by_id('q')#通过id找到输入框  id="q"
input.send_keys('iPhone') #输入iPhone
time.sleep(1)
input.clear() #清空输入
input.send_keys('iPad') #输入iPad
button = browser.find_element_by_class_name('btn-search') #通过class name即class属性值 找到搜索按钮
button.click() #点击搜索按钮

更多操作

  • 交互动作

将动作附加到动作链中串行执行。

from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult') #切换frame
#通过css选择器 获取元素  id="draggable"
source = browser.find_element_by_css_selector('#draggable')
target = browser.find_element_by_css_selector('#droppable')
actions = ActionChains(browser) #动作链
actions.drag_and_drop(source, target) #将source拖动到target
actions.perform() #执行

更多操作

  • 执行JavaScript
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
#有些动作没有api实现 可以通过执行js代码 来执行动作  比如进度条下拉
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")') #下拉完成后 出现提示框

 

4. 获取元素信息

  • 获取属性
from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
#id="zh-top-link-logo"的元素
logo = browser.find_element_by_id('zh-top-link-logo')
print(logo)
print(logo.get_attribute('class')) #获取元素的class属性值
  • 获取文本值
from selenium import webdriver

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
#class="zu-top-add-question"的元素
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.text) #获取元素文本值
  • 获取ID、位置、标签名、大小
from selenium import webdriver

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.id)
print(input.location)
print(input.tag_name)
print(input.size)

 

5. Frame

import time
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException

#不能从父级frame中查找子级frame中的元素 必须切换到子级frame中
browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult') #切换到子级frame 传入子级frame元素的id属性值
source = browser.find_element_by_css_selector('#draggable')
print(source)
#也不能从子级frame中查找父级frame中的元素 必须切换回去
try:
    logo = browser.find_element_by_class_name('logo')
except NoSuchElementException:
    print('NO LOGO')
browser.switch_to.parent_frame()#切换到父级frame
logo = browser.find_element_by_class_name('logo')
print(logo)
print(logo.text)

 

6. 等待

selenium首先只能加载出一个整体框架，比如有一些ajax请求等，可能还没有立刻加载出来，所以可以添加等待，等页面完全加载出来后，再进行相应的操作。

  • 隐式等待

当使用了隐式等待执行测试的时候，如果 WebDriver没有在 DOM中找到元素，将继续等待，超出设定时间后则抛出找不到元素的异常, 换句话说，当查找元素或元素并没有立即出现的时候，隐式等待将等待一段时间再查找 DOM，默认的时间是0。

from selenium import webdriver
#网速慢的时候 可以加隐式等待
browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get('https://www.zhihu.com/explore')
input = browser.find_element_by_class_name('zu-top-add-question')
print(input)
  • 显式等待

会有一个等待条件，和一个最长等待时间。在最长等待时间内，一直等待条件出现，如果没出现且超时了，就会报异常。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()
browser.get('https://www.taobao.com/')
wait = WebDriverWait(browser, 10)
input = wait.until(EC.presence_of_element_located((By.ID, 'q')))
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))
print(input, button)

等待条件：

详细内容

7. 其他

  • 前进后退
import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com/')
browser.get('https://www.taobao.com/')
browser.get('https://www.python.org/')
browser.back()
time.sleep(1)
browser.forward()
browser.close()
  • cookies
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
print(browser.get_cookies())#获取cookie
#添加cookie
browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})
print(browser.get_cookies())
#删除所有cookie
browser.delete_all_cookies()
print(browser.get_cookies())
  • 选项卡管理
import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
#执行js 新开一个选项卡
browser.execute_script('window.open()')
print(browser.window_handles) #返回所有选项卡的引用
#切换到第2个选项卡
browser.switch_to_window(browser.window_handles[1])
#访问淘宝
browser.get('https://www.taobao.com')
time.sleep(1)
#切换到第1个选项卡
browser.switch_to_window(browser.window_handles[0])
#访问python
browser.get('https://python.org')
  • 异常处理
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.find_element_by_id('hello') #找不到元素

添加异常处理：

from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException

browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
except TimeoutException:
    print('Time Out')
try:
    browser.find_element_by_id('hello')
except NoSuchElementException:
    print('No Element')
finally:
    browser.close()

详细文档

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

万字博文教你爬虫必备-＞Selenium【详解篇】（初篇）
孤寒者的博客
08-05 54万+
万字博文教你爬虫必备-＞Selenium【详解篇】（初篇）
python中selenium使用
Alden_Wei的博客
05-27 1276
目录一、简介二、安装三、下载驱动器四、简单实例五、配置浏览器（一）配置浏览器（二）添加代理六、定位标签七、页面操作八、等待页面加载（一）显示等待（二）隐式等待自动点赞实现一）导入第三方库（二）登录账号完整代码 一、简介 我们模拟登陆用的是selenium库，selenium是一个自动化测试工具，在爬虫中通常用来进行模拟登陆。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，同时Selenium也支持多种语言开发，比如 Java，C，Ruby、Python等等。 二、安装
Python Selenium
weixin_30770783的博客
01-23 137
首先到pypi上下载selenium，不同版本的selenium对chrome/chormium的版本要求也不同。解压然后将路径添加到PATH。API看了半天没看懂，所以还是到网上直接找了例子进行学习。 #!/usr/bin/env python # -*- coding: UTF-8 -*- from selenium import webdriver from selenium.c...
pythonseleniumAPI
weixin_33778544的博客
04-12 387
一、浏览器操作 1、浏览器最大化 driver.maximize_window() #将浏览器最大化显示 2、设置浏览器宽、高 driver.set_window_size(480, 800)#设置浏览器宽480、高800显示 3、控制浏览器前进、后退 driver.back()#浏览器后退 driver.forward()#浏览器前进 二、简单对象的定位 ...
Python selenium
weixin_44210565的博客
08-05 151
selenium selenium 基于浏览器自动化的一个模块 便携的获取网站中动态加载的数据（Ajax） 便携实现模拟登录 Google浏览器 驱动程序下载路径 确定版本映射关系 实例化浏览器对象 传入浏览器驱动程序 bro = webdriver.Chrome(’./chromedriver.exe’) 编写自动操作代码 基于浏览器自动化的操作代码 发起请求：get(url) 标签定位: find系列方法 标签交互: send_keys('xxx) 执行js程序:
Python-Selenium
大白
11-26 235
从回收站拉回来了篇文章，因为某些原因没有持续学习Python+selenium，所以文章也没有写了。放到回收站是因为我觉得这篇文章没什么用，写的也不好，就是参考某位大神的文章初步学习的记录。今天在回收站看到后突然就觉得，不管写的好不好，算是我学习路上留下的一点点痕迹吧。没准以后会重新捡起来呢。 ·怎么去学UI自动化 编程语言（python/java）：需要长期的去学习，比如一些基本语法 sel...
Python爬虫示例代码，使用Selenium和BeautifulSoup处理静态网页.txt
08-17
### Python爬虫示例代码详解 本篇将详细介绍如何使用Python中的Selenium和BeautifulSoup库来处理静态网页，实现网页内容的抓取与解析。该示例代码适用于想要学习网络爬虫技术，尤其是针对那些需要模拟真实用户行为...
python网络爬虫 Scrapy中selenium用法详解
09-18
在IT领域，Python尤其在数据分析、机器学习、网络开发、自动化测试和网络爬虫开发方面发挥着重要作用。网络爬虫是一种自动化程序，可以按照特定规则，自动地从互联网上抓取信息。 Scrapy是Python编写的开源框架之一...
python爬虫-selenium详解
05-28
python爬虫-selenium详解， python爬虫-selenium详解， python爬虫-selenium详解
python selenium
Big_Body
12-04 1010
python selenium 这个模块玩儿爬虫的都知道，因为这个可以完全模拟人为的对浏览器的操作，在一些反爬虫做的很完善的站点的时候，大家选取这个模块，可以说是百试不爽。 很多浏览器都支持自动操作，我一般用chrome。 模块获取元素和定位按钮的方法有很多，这个大家可以具体官方文档。 这里只是想踩一下Web页面的渲染问题，也就是，我们在使用selenium定位元素时，如果页面没有把你需要的需要...
python--selenium
忘心虚无的博客
07-04 652
一、获得cookie browser = webdriver.Chrome() # 模拟登录操作 。。。。 list_cookies = browser.get_cookies() s = requests.Session() cookies = {} for cookie in list_cookies: cookies[cookie['name']] = cookie['value'] re...
Selenium Python
feng的博客
07-12 855
这篇文章在介绍官网的同时使用了比较多的脚本示例，示例里遇到的问题有部分在本篇文章进行了解释，还有一篇文章专门记录了问题。希望可以给予初学者更多的帮助。
Python爬虫：selenium
热门推荐
mengnf的专栏
02-14 1万+
Python爬虫之selenium
Python爬虫——Selenium
最新发布
WenJGo的博客
03-06 1562
折磨到顶点的折磨，selenium，phantomjs，Chrome handless
python(基于selenium爬虫)
weixin_52105995的博客
03-10 841
Selenium(web自动化工具)，也可用来爬虫，效率会比requests慢，对于某些网站有反爬机制可以使用此方法。 导入selenium，sleep（间隔时间），csv（数据存储）模块，没有可以进行下载 定义方法，把爬取数据存储为 CSV文件 谷歌浏览器驱动，下载与浏览器相同版本 链接：CNPM Binaries Mirror ​ 可以自己找网站进行练习，我就不贴出来了 for循环是抓取多少页数据 进入到详情页 ...
Python爬虫基础之 Selenium
向之 所欣
11-18 881
Selenium是一个浏览器自动化测试框架，是一款用于Web应用程序测试的工具。框架底层使用JavaScript模拟真实用户对浏览器进行操作。测试脚本执行时，浏览器自动按照脚本代码做出点击，输入，打开，验证等操作，就像真实用户所做的一样，从终端用户的角度测试应用程序。使浏览器兼容性测试自动化成为可能，尽管在不同的浏览器上依然有细微的差别。使用简单，可使用Java，Python等多种语言编写用例脚本。
基于python的selenium_基于Python的Selenium
weixin_39791225的博客
02-11 183
1、环境搭建1)安装Python链接：https://pan.baidu.com/s/1bVGegGjINkSgzbQ6yx1KrA提取码：z23o2)在idea上安装插件3)安装 seleniumpip install selenium-3.12.0-py2.py3-none-any4)准备浏览器驱动器IEDriverServer、chromedriver(google)、geckodriver...
Python3爬虫实战：Selenium详解与应用
"本文主要介绍了Python3爬虫中使用Selenium的详细方法，包括Selenium的基本概念、安装配置、以及一些常见的使用示例。" 在Python3爬虫中，Selenium是一个非常重要的工具，它是一个自动化测试框架，允许开发者模拟...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值