selenium模块

最新推荐文章于 2023-03-27 14:19:56 发布
最新推荐文章于 2023-03-27 14:19:56 发布
阅读量478 收藏
点赞数
分类专栏： python 文章标签： selenium

介绍

selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题。

selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器。

from selenium import webdriver
browser=webdriver.Chrome()
browser=webdriver.Firefox()
browser=webdriver.PhantomJS()
browser=webdriver.Safari()
browser=webdriver.Edge()

安装

selenium+chromedriver

安装

pip3 install selenium
下载chromdriver.exe放到python安装路径的scripts目录中即可

验证安装

from selenium import webdriver

driver=webdriver.Chrome() #弹出浏览器

driver.get('https://www.baidu.com')

driver.page_source

注意

selenium3默认支持的webdriver是Firfox，而Firefox需要安装geckodriver
下载链接：https://github.com/mozilla/geckodriver/releases

selenium+phantomjs

安装

pip3 install selenium
下载phantomjs，解压后把phantomjs.exe所在的bin目录放到环境变量
下载链接：http://phantomjs.org/download.html

验证安装

from selenium import webdriver

driver=webdriver.PhantomJS() #无界面浏览器

driver.get('https://www.baidu.com')

driver.page_source

基本使用

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys #键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素

browser=webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')

    input_tag=browser.find_element_by_id('kw')
    input_tag.send_keys('python') #python2中输入中文错误，字符串前加个u
    input_tag.send_keys(Keys.ENTER) #输入回车

    wait=WebDriverWait(browser,10)
    wait.until(EC.presence_of_element_located((By.ID,'content_left'))) #等到id为content_left的元素加载完毕,最多等10秒

    print(browser.page_source)
    print(browser.current_url)
    print(browser.get_cookies())

finally:
    browser.close()

三种选择器

三种查找元素的方式

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys #键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素

browser=webdriver.Chrome()

browser.get('https://www.baidu.com')

#以下三种方式达到的都是同一种效果：查找id为kw的标签
input_tag1=browser.find_element(By.ID,'kw') #等同于：input_tag1=browser.find_element_by_id('kw')

input_tag2=browser.find_element(By.CSS_SELECTOR,'#kw') #等同于：input_tag2=browser.find_element_by_css_selector('#kw')

input_tag3=browser.find_element(By.XPATH,'//*[@id="kw"]') #等同于：input_tag3=browser.find_element_by_xpath('//*[@id="kw"]')

#注意：browser.find_elements系列与browser.find_element的区别就是，前者是查找多个，后者是只找第一个
div1=browser.find_element(By.CSS_SELECTOR,'div') #找到第一个div标签
div2=browser.find_elements(By.CSS_SELECTOR,'div') #找到所有的div标签，放到列表里

browser.close()

三种查找元素方式

获取标签属性

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys #键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素

browser=webdriver.Chrome()

browser.get('https://www.amazon.cn/')

wait=WebDriverWait(browser,10)
wait.until(EC.presence_of_element_located((By.ID,'cc-lm-tcgShowImgContainer')))

tag=browser.find_element(By.CSS_SELECTOR,'#cc-lm-tcgShowImgContainer img')

#获取标签属性，
print(tag.get_attribute('src'))


#获取标签ID，位置，名称，大小（了解）
print(tag.id)
print(tag.location)
print(tag.tag_name)
print(tag.size)


browser.close()

获取标签属性

等待元素被加载

  1. selenium只是模拟浏览器的行为，而浏览器解析页面是需要时间的（执行css，js），一些元素可能需要过一段时间才能加载出来，为了保证能查找到元素，必须等待

  2. 等待的方式分两种：

    1. 隐式等待：在browser.get（’xxx’）前就设置，针对所有元素有效
    2. 显式等待：在browser.get（’xxx’）之后设置，只针对某个元素有效
    from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys #键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素

browser=webdriver.Chrome()


#隐式等待:在查找所有元素时，如果尚未被加载，则等10秒

browser.implicitly_wait(10)

browser.get('https://www.baidu.com')


input_tag=browser.find_element_by_id('kw')
input_tag.send_keys('美女')
input_tag.send_keys(Keys.ENTER)

contents=browser.find_element_by_id('content_left') #没有等待环节而直接查找，找不到则会报错
print(contents)

browser.close()

隐式等待
    from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys #键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素

browser=webdriver.Chrome()
browser.get('https://www.baidu.com')


input_tag=browser.find_element_by_id('kw')
input_tag.send_keys('美女')
input_tag.send_keys(Keys.ENTER)



#显式等待：显式地等待某个元素被加载

wait=WebDriverWait(browser,10)
wait.until(EC.presence_of_element_located((By.ID,'content_left')))

contents=browser.find_element(By.CSS_SELECTOR,'#content_left')
print(contents)


browser.close()

显式等待

元素交互操作

点击，清空

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys #键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素

browser=webdriver.Chrome()
browser.get('https://www.amazon.cn/')
wait=WebDriverWait(browser,10)


input_tag=wait.until(EC.presence_of_element_located((By.ID,'twotabsearchtextbox')))
input_tag.send_keys('iphone 8')
button=browser.find_element_by_css_selector('#nav-search > form > div.nav-right > div > input')
button.click()


import time
time.sleep(3)

input_tag=browser.find_element_by_id('twotabsearchtextbox')
input_tag.clear() #清空输入框
input_tag.send_keys('iphone7plus')
button=browser.find_element_by_css_selector('#nav-search > form > div.nav-right > div > input')
button.click()



# browser.close()

点击，清空

Action Chains

#http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys #键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素


browser=webdriver.Chrome()
browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
browser.switch_to.frame('iframeResult') #切换到iframeResult

source=browser.find_element_by_id('draggable')
target=browser.find_element_by_id('droppable')

actions=ActionChains(browser) #拿到动作链对象
actions.drag_and_drop(source,target) #把动作放到动作链中，准备串行执行
actions.perform() #执行

Action Chains

执行自定义JS代码

#http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys #键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素


browser=webdriver.Chrome()
browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
browser.switch_to.frame('iframeResult') #切换到iframeResult

source=browser.find_element_by_id('draggable')
target=browser.find_element_by_id('droppable')

actions=ActionChains(browser) #拿到动作链对象
actions.drag_and_drop(source,target) #把动作放到动作链中，准备串行执行
actions.perform() #执行

Action Chains

iframe元素的切换

#frame相当于一个单独的网页，在父frame里是无法直接查看到子frame的元素的，必须switch_to_frame切到该frame下，才能进一步查找

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys #键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素


try:
    browser=webdriver.Chrome()
    browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')

    browser.switch_to.frame('iframeResult') #切换到id为iframeResult的frame

    tag1=browser.find_element_by_id('droppable')
    print(tag1)

    # tag2=browser.find_element_by_id('textareaCode') #报错，在子frame里无法查看到父frame的元素
    browser.switch_to.parent_frame() #切回父frame,就可以查找到了
    tag2=browser.find_element_by_id('textareaCode')
    print(tag2)

finally:
    browser.close()

补充:frame的切换

其它

模拟浏览器的前进后退

import time
from selenium import webdriver

browser=webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.get('https://www.taobao.com')
browser.get('http://www.sina.com.cn/')

browser.back()
time.sleep(10)
browser.forward()
browser.close()

cookies

from selenium import webdriver

browser=webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
print(browser.get_cookies())
browser.add_cookie({'k1':'xxx','k2':'yyy'})
print(browser.get_cookies())

# browser.delete_all_cookies()

选项卡管理

#选项卡管理：切换选项卡，有js的方式windows.open,有windows快捷键：ctrl+t等，最通用的就是js的方式
import time
from selenium import webdriver

browser=webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.execute_script('window.open()')

print(browser.window_handles) #获取所有的选项卡
browser.switch_to_window(browser.window_handles[1])
browser.get('https://www.taobao.com')
time.sleep(10)
browser.switch_to_window(browser.window_handles[0])
browser.get('https://www.sina.com.cn')
browser.close()

异常处理

from selenium import webdriver
from selenium.common.exceptions import TimeoutException,NoSuchElementException,NoSuchFrameException

try:
    browser=webdriver.Chrome()
    browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
    browser.switch_to.frame('iframssseResult')

except TimeoutException as e:
    print(e)
except NoSuchFrameException as e:
    print(e)
finally:
    browser.close()


本文转载自：http://www.cnblogs.com/linhaifeng/articles/7783599.html

Ayhan_huang
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Selenium中的By模块
我与代码的故事
10-23 1万+
一：前言 很多读者可能发现学习selenium时，经常遇见find_element(By.ID,"id")这种写法。 发现了没有，有个叫“By”的单词。因此，笔者今天来讲解一下它是何物。 二：正文 By模块，用来定位元素的。和另外一个find的功能一样，就是写法不一样。 find_element(By.ID,“id”) 等价于 find_element_by_id -->根据id属性定位 find_element(By.XPATH,"//div[@name=‘csdn’]") 等价于 find
Python爬虫学习第八天---Selenium模块
lufei0920的博客
06-08 1821
python调用selenium模块实现访问chrome浏览器，并实现测试和爬虫操作。
Python+Selenium之常用模块
weixin_33825683的博客
04-04 154
要用webdriver：from selenium import webdriver eg: driver = webdriver.Chrome() driver.maximize_window() driver.get("http://www.baidu.com") 要用等待：from selenium.webdriver.common.by import By，from...
Python selenium模块实现定位过程解析
09-16
总之，Python Selenium模块提供的这些定位方法使得自动化测试和网页操作变得更加便捷。熟练掌握这些方法，能帮助我们在编写自动化脚本时更加高效。希望本文内容能对你学习Selenium有所帮助，也欢迎继续探索更多...
python selenium模块的使用
12-21
Python的Selenium模块是一个强大的工具，用于自动化浏览器操作，它允许开发者模拟用户行为，例如点击、填写表单、导航和更多交互。Selenium支持多种浏览器，包括Chrome、Firefox等，通过特定的驱动程序（WebDriver）...
Python Selenium模块安装使用教程详解
09-16
Python Selenium 模块是一个强大的自动化测试工具，专用于Web应用程序的测试。它允许开发者模拟用户在浏览器中的行为，如点击、填写表单、导航等。Selenium 2 是目前广泛使用的版本，它不依赖特定的测试框架，可以...
b站数据爬虫+可视化图表（selenium模块+pyecharts模块）（大二课设）
最新发布
11-11
在这个项目中，大二学生利用Python的selenium模块和pyecharts模块进行了一次B站（哔哩哔哩）的数据爬取与可视化分析。以下是该项目涉及的主要知识点： 1. **selenium模块**：selenium是一个自动化测试工具，常用于...
Selenium 模块详解
小胖_@的博客
11-30 1027
文章目录Selenium 自动化流程下载，安装浏览器驱动网页资源下载百度网盘资源下载操作使用简单使用版本变化，语法改变find_element | find_elements 区别获取指定元素输入框操作xpath 选择器 Selenium 自动化流程 自动化程序调用 selenium 客户端库函数； 客户端库会发送 selenium 命令给浏览器的驱动程序； 浏览器驱动程序接收到命令后，驱动浏览器去执行命令； 浏览器执行命令； 浏览器驱动程序获取命令执行结果，返回给我们自动化程序； 自动化程序对返回结果进
selenium常用方法整理
anchuzhuan3909的博客
06-13 253
一、常用库导入 1.from selenium import webdriver导入webdriver模块 2.from selenium.webdriver import ActionChains导入动作链类，动作链可以储存鼠标的动作，并一起执行 3.from selenium.webdriver.common.key import Key键盘操作使用的是Keys类,...
selenium模块（一）：介绍及安装
qq_39704682的博客
11-30 788
一、介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题。 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium import webdriver browser=webdriver.Chrome() brow...
Python：selenium模块基本使用
leowutooo的博客
05-27 759
1.什么是selenium模块？ - 基于浏览器自动化的一个模块。（通过编写代码，让浏览器完成操作自动化的动作） selenium模块可以帮助我们便捷获取动态加载的数据 2.selenium使用流程： - 环境的安装 - 下载一个浏览器的驱动程序（谷歌浏览器） - 下载路径：http://chromedriver.storage.googleapis.com/index.html - 驱动程序和浏览器的对应关系：http://blog.csdn.net/huilan_same/articl..
selenium常用的模块
weixin_33953384的博客
11-27 152
from selenium import webdriver #select模块处理下拉框from selenium.webdriver.support.ui import Select # Keys模拟键盘操作 from selenium.webdriver.common.keys import Keys #ActionChains模块模拟鼠标操作 from selenium.web...
【python】之selenium模块，实现Web端自动化测试！【基础篇】
相信过程！
03-27 5494
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接调用浏览器，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏等。我们可以使用selenium很容易完成之前编写的爬虫，接下来我们就来看一下selenium的运行效果。
selenium执行js代码
Mr_know的博客
12-17 2237
前言： selenium定位输入readOnly属性的时候，没办法直接输入，我们需要使用js进行定位 1、方法一：js定位元素 js = "document.getElementById("train_day").value = '2021-01-01'" # 执行js代码 driver.execute_script(js) 2、方法二：修改readOnly属性为false，就是让这个元素不是只读 js = "document.getElementById("train_day").readOnly =
selenium调用js文件_Selenium Webdriver:execute_脚本无法执行自定义方法和外部javascript文件...
weixin_30466329的博客
12-28 868
我正在使用Selenium和Python，我尝试做两件事：导入外部javascript文件并执行其中定义的方法在字符串上定义方法并在计算后调用它们这是第一种情况的输出：测试.jsfunction hello(){document.body.innerHTML = "testing";}Python代码>>> from selenium import webdriver>&g...
selenium 中的JS操作
wahaha
08-04 2962
js='window.scrollTo(0,document.body.scrollHeight)' bro.execute_script(js) js = 'document.documentElement.scrollTop=4000' 第一个左右和上下的滚动条 第二个 距离顶部的距离 1.导入 from selenium import webdriver from selen...
Selenium 系列篇（四）：JS 篇
Python自动化社区的博客
02-29 881
点击上方“Python自动化测试社区”，选择“加为星标”第一时间关注 Python 自动化技术干货！系列导读01. Selenium 系列篇（一）：准备篇02. Selenium 系列篇...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值