Selenium

最新推荐文章于 2022-11-30 01:18:12 发布

鹰眼2号

最新推荐文章于 2022-11-30 01:18:12 发布

阅读量117

点赞数

本文链接：https://blog.csdn.net/qq_35810838/article/details/107439593

版权

1.安装：pip install Selenium==3.0.1

或从官网https://pypi.python.org/pypi/selenium下载源代码压缩后,运行python setup.py install

selenium3.x调用浏览器必须下载一个类似补丁的文件，比如Firefox的为geckodriver,Chrome的为chromedriver

本版本补丁下载地址：http://www.seleniumhq.org/download/ 将下载补丁所在目录添加到环境变量

2.快速入门

 1 # _*_ coding:utf-8 _*_
 2 __author__ = 'boby'
 3 __date__ = '2018/5/27 0027 上午 9:35'
 4 from selenium import webdriver
 5 from selenium.webdriver.common.keys import Keys
 6 import time
 7 
 8 driver= webdriver.Chrome(r'C:\Users\Administrator\AppData\Local\Google\Chrome\Application\chromedriver.exe')
 9 driver.get('http://www.baidu.com')
10 assert u'百度' in driver.title
11 elem= driver.find_element_by_name('wd')
12 elem.clear()
13 elem.send_keys(u"网络爬虫")
14 elem.send_keys(Keys.RETURN)
15 time.sleep(3)
16 assert u"网络爬虫." not in driver.page_source
17 driver.close()

除了上面具有确定功能的方法，还有两个通用的方法find_element 和 find_elements,可以通过传入参数来指定功能。

实例如下：

from selenium.webdriver.common.by import By
driver.find_element(By.XPATH,'//button[text()="Some text"]')
#通过xpath表达式来查找

该方式的第一个参数还有:

页面的操作：

 1 <html>
 2 <heade>
 3 <meta http-equiv='content-type' content='text/html;charset=gbk'>
 4 <head>
 5     <body>
 6     <h1>Welcome</h1>
 7     <p class="content">用户登录<p>
 8             <form id='loginForm'>
 9                   <select name="loginways">
10                             <option value="email">邮箱</option>
11                             <option value="mobile">手机号</option>
12                             <option value='name'>用户名</option>
13                   </select>
14                   <br/>
15                         <input name="username" type="text"/>
16                         <br/>
17                          密码
18                         <br/>
19                          <input name="password" type="password" />
20                          <br/><br/>
21                          <input name="continue" type="submit" value="login" />
22                           <input name="continue" type="button" value="Clear" />
23              </from>
24        <a href="register.html">Register</a>
25 
26 <body>
27 
28 </html>

1.页面交互与填充表单

driver = webdriver.Chrome()
driver.get("f://login.html")

#初始化chrome浏览器，打开html文档

#获取用户名和密码输入框，和登录按钮
username= driver.find_element_by_name('username')
password=driver.find_element_by_xpath(".//*[@id='loginForm']/input[2]")
login_button=driver.find_element_by_xpath("//input[@type='submit']")



#使用send_keys()方法输入用户名和密码，使用click方法模拟点击登录
username.clear()
username.send_key('qiye')
password.send_keys('qiye_pass')
login_button.click()
#操作下拉选择方式

select= driver.find_element_by_xpath("//form/select")
all_options=select.fing_elements_by_tag_name('option')
for option in all_options:
    print("Value is :%s"% option.get_attribute('value'))
    option.click()
----------------------------------------------------
from selenium.webdriver.support.ui import Select
select=Select(driver.find_element_by_xpath('//form/select'))
select.select_by_index(index)
select.select_by_visible_text['text']
select.select_by_value(value)
#根据索引，文字，value值来选择选项卡中的某一项

3.窗口和页面frame的切换
一个浏览器一般都会开多个窗口，我们可以switch_to_window方法实现指定窗口的切换
driver.switch_to_windos('windowName')
也可以通过windows handle 来获取每个窗口的操作对象。如下：
for handle in driver.window_handles:
driver.switch_to_window(handle)
如需切换页面frame,可以使用switch_to_frame方法，实例如下：
driver.switch_to_frame('frameName')
driver.switch_to_frame('frameName.0.child')

4.弹窗处理
alert= driver.switch_to_alert()
alert.dismiss()


5.历史记录   页面的前进与后退
driver.forward()
driver.back()


6.Cookie处理
driver.get("http://www.baidu.com")
cookie={'name':'foo','value':'bar'}
driver.add_cookie(cookie)
dirver.get_cookie()

7.设置PhantomJS请求头中的User-Agent
一般针对phantonJS的反爬措施，默认的User-Agent中含有phantomJS内容，可以通过以下内容进行修改。

dcap=dict(DesiredCapabilities.PHANTOMJS)

dcap["phantomjs.page.settings.userAgent"]=(

"MOzilla/5.0(Linus;Android 5.1.1;Nexus 6 BUild/LYZ28E) AppleWebKit/537.36(KHTML,like Gecko) Chrome/48.0.2564.23 MObile Safari/537.36"

)

driver=webriver.PhantomJS（）

driver.get('http://www.google.com')

driver.quit()

等待

由于现在的很多网站采用Ajax技术，不确定网页元素什么时候能够完全加载，所以网页元素选择会比较困难，这时候就需要等待。Selenium有两种等待凡是：显示，隐式

#显示等待
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import webDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver= webdriver.Chrome(r'C:\Users\Administrator\AppData\Local\Google\Chrome\Application\chromedriver.exe')
driver.get('http://somedomain/url_that_delays_loading')
try:
    element= WebDriverWait(driver,10).until(
              EC.precence_of_element_located((By.ID,'myDynamicElement'))
)
finally:
    driver.quit()

隐式等待

作用范围是Webdriver对象实例的整个生命周期，也就是说Webdriver执行每条命令的超时时间都是如此

from selenium import webdriver
driver  = webdriver.CHrome(r'C:\Users\Administrator\AppData\Local\Google\Chrome\Application\chromedriver.exe')
driver.implicitly_wait(100)
driver.get('http://baidu.com')
myDynameElement= driver.find_element_by_id("myDynamicElement")

线程休眠

time.sleep(time)

鹰眼2号

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Selenium

1.安装：pip install Selenium==3.0.1或从官网https://pypi.python.org/pypi/selenium下载源代码压缩后,运行python setup.py installselenium3.x调用浏览器必须下载一个类似补丁的文件，比如Firefox的为geckodriver,Chrome的为chromedriver ...
复制链接

扫一扫

Selenium

“相关推荐”对你有帮助么？