selenium用法详解【从入门到实战】【Python爬虫】【4万字

先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7

深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新Python全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img



既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Python知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以添加V获取:vip1024c (备注Python)
img

正文

{‘height’: 32, ‘width’: 28}
搜索
‘’’


![请添加图片描述](https://img-blog.csdnimg.cn/626604e9e51e473fa017107c14af7290.gif)




---


  

### 鼠标控制


在webdriver 中,鼠标操作都封装在ActionChains类中,常见方法如下:




| 方法 | 描述 |
| --- | --- |
| `click()` | 单击左键 |
| `context_click()` | 单击右键 |
| `double_click()` | 双击 |
| `drag_and_drop()` | 拖动 |
| `move_to_element()` | 鼠标悬停 |
| `perform()` | 执行所有ActionChains中存储的动作 |


#### 单击左键


模拟完成单击鼠标左键的操作,一般点击进入子页面等会用到,左键不需要用到 `ActionChains` 。



定位搜索按钮

button = driver.find_element_by_xpath(‘//*[@id=“toolbar-search-button”]/span’)

执行单击操作

button.click()


#### 单击右键


鼠标右击的操作与左击有很大不同,需要使用 `ActionChains` 。



from selenium.webdriver.common.action_chains import ActionChains

定位搜索按钮

button = driver.find_element_by_xpath(‘//*[@id=“toolbar-search-button”]/span’)

右键搜索按钮

ActionChains(driver).context_click(button).perform()


#### 双击


模拟鼠标双击操作。



定位搜索按钮

button = driver.find_element_by_xpath(‘//*[@id=“toolbar-search-button”]/span’)

执行双击动作

ActionChains(driver).double_click(button).perform()


#### 拖动


模拟鼠标拖动操作,该操作有两个必要参数,


* **source**:鼠标拖动的元素
* **target**:鼠标拖至并释放的目标元素



定位要拖动的元素

source = driver.find_element_by_xpath(‘xxx’)

定位目标元素

target = driver.find_element_by_xpath(‘xxx’)

执行拖动动作

ActionChains(driver).drag_and_drop(source, target).perform()


#### 鼠标悬停


模拟悬停的作用一般是为了显示隐藏的下拉框,比如 CSDN 主页的收藏栏,我们看一下效果。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/71d37932ab2d47bba151e29a6ab470d1.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_20,color_FFFFFF,t_70,g_se,x_16)



定位收藏栏

collect = driver.find_element_by_xpath(‘//*[@id=“csdn-toolbar”]/div/div/div[3]/div/div[3]/a’)

悬停至收藏标签处

ActionChains(driver).move_to_element(collect).perform()




---


  

### 键盘控制


`webdriver` 中 `Keys` 类几乎提供了键盘上的所有按键方法,我们可以使用 `send_keys + Keys` 实现输出键盘上的组合按键如 **“Ctrl + C”、“Ctrl + V”** 等。



from selenium.webdriver.common.keys import Keys

定位输入框并输入文本

driver.find_element_by_id(‘xxx’).send_keys(‘Dream丶killer’)

模拟回车键进行跳转(输入内容后)

driver.find_element_by_id(‘xxx’).send_keys(Keys.ENTER)

使用 Backspace 来删除一个字符

driver.find_element_by_id(‘xxx’).send_keys(Keys.BACK_SPACE)

Ctrl + A 全选输入框中内容

driver.find_element_by_id(‘xxx’).send_keys(Keys.CONTROL, ‘a’)

Ctrl + C 复制输入框中内容

driver.find_element_by_id(‘xxx’).send_keys(Keys.CONTROL, ‘c’)

Ctrl + V 粘贴输入框中内容

driver.find_element_by_id(‘xxx’).send_keys(Keys.CONTROL, ‘v’)


其他常见键盘操作:




| 操作 | 描述 |
| --- | --- |
| `Keys.F1` | F1键 |
| `Keys.SPACE` | 空格 |
| `Keys.TAB` | Tab键 |
| `Keys.ESCAPE` | ESC键 |
| `Keys.ALT` | Alt键 |
| `Keys.SHIFT` | Shift键 |
| `Keys.ARROW_DOWN` | 向下箭头 |
| `Keys.ARROW_LEFT` | 向左箭头 |
| `Keys.ARROW_RIGHT` | 向右箭头 |
| `Keys.ARROW_UP` | 向上箭头 |




---


  

### 设置元素等待


很多页面都使用 `ajax` 技术,页面的元素不是同时被加载出来的,为了防止定位这些尚在加载的元素报错,可以设置元素等来增加脚本的稳定性。`webdriver` 中的等待分为 显式等待 和 隐式等待。


#### 显式等待


显式等待:设置一个超时时间,每个一段时间就去检测一次该元素是否存在,如果存在则执行后续内容,如果超过最大时间(超时时间)则抛出超时异常(`TimeoutException`)。显示等待需要使用 `WebDriverWait`,同时配合 `until` 或 `not until` 。下面详细讲解一下。



> 
> WebDriverWait(driver, timeout, poll\_frequency=0.5, ignored\_exceptions=None)
> 
> 
> 


* `driver`:浏览器驱动
* `timeout`:超时时间,单位秒
* `poll_frequency`:每次检测的间隔时间,默认为0.5秒
* `ignored_exceptions`:指定忽略的异常,如果在调用 `until` 或 `until_not` 的过程中抛出指定忽略的异常,则不中断代码,默认忽略的只有 `NoSuchElementException` 。



> 
> until(method, message=’ ‘)  
>  until\_not(method, message=’ ')
> 
> 
> 


* `method`:指定预期条件的判断方法,在等待期间,每隔一段时间调用该方法,判断元素是否存在,直到元素出现。`until_not` 正好相反,当元素消失或指定条件不成立,则继续执行后续代码
* `message`: 如果超时,抛出 `TimeoutException` ,并显示 `message` 中的内容


`method` 中的预期条件判断方法是由 `expected_conditions` 提供,下面列举常用方法。


先定义一个定位器



from selenium.webdriver.common.by import By
from selenium import webdriver

driver = webdriver.Chrome()
locator = (By.ID, ‘kw’)
element = driver.find_element_by_id(‘kw’)




| 方法 | 描述 |
| --- | --- |
| title\_is(‘百度一下’) | 判断当前页面的 title 是否等于预期 |
| title\_contains(‘百度’) | 判断当前页面的 title 是否包含预期字符串 |
| presence\_of\_element\_located(locator) | 判断元素是否被加到了 dom 树里,并不代表该元素一定可见 |
| visibility\_of\_element\_located(locator) | 判断元素是否可见,可见代表元素非隐藏,并且元素的宽和高都不等于0 |
| visibility\_of(element) | 跟上一个方法作用相同,但传入参数为 element |
| text\_to\_be\_present\_in\_element(locator , ‘百度’) | 判断元素中的 text 是否包含了预期的字符串 |
| text\_to\_be\_present\_in\_element\_value(locator , ‘某值’) | 判断元素中的 value 属性是否包含了预期的字符串 |
| frame\_to\_be\_available\_and\_switch\_to\_it(locator) | 判断该 frame 是否可以 switch 进去,True 则 switch 进去,反之 False |
| invisibility\_of\_element\_located(locator) | 判断元素中是否不存在于 dom 树或不可见 |
| element\_to\_be\_clickable(locator) | 判断元素中是否可见并且是可点击的 |
| staleness\_of(element) | 等待元素从 dom 树中移除 |
| element\_to\_be\_selected(element) | 判断元素是否被选中,一般用在下拉列表 |
| element\_selection\_state\_to\_be(element, True) | 判断元素的选中状态是否符合预期,参数 element,第二个参数为 True/False |
| element\_located\_selection\_state\_to\_be(locator, True) | 跟上一个方法作用相同,但传入参数为 locator |
| alert\_is\_present() | 判断页面上是否存在 alert |


下面写一个简单的例子,这里定位一个页面不存在的元素,抛出的异常信息正是我们指定的内容。



from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
element = WebDriverWait(driver, 5, 0.5).until(
EC.presence_of_element_located((By.ID, ‘kw’)),
message=‘超时啦!’)


![在这里插入图片描述](https://img-blog.csdnimg.cn/40c4d110a6cc497aaeb99540959d3633.png)


#### 隐式等待


隐式等待也是指定一个超时时间,如果超出这个时间指定元素还没有被加载出来,就会抛出 `NoSuchElementException` 异常。  
 除了抛出的异常不同外,还有一点,隐式等待是全局性的,即运行过程中,如果元素可以定位到,它不会影响代码运行,但如果定位不到,则它会以轮询的方式不断地访问元素直到元素被找到,若超过指定时间,则抛出异常。


使用 `implicitly_wait()` 来实现隐式等待,使用难度相对于显式等待要简单很多。  
 示例:打开个人主页,设置一个隐式等待时间 5s,通过 `id` 定位一个不存在的元素,最后打印 抛出的异常 与 运行时间。



from selenium import webdriver
from time import time

driver = webdriver.Chrome()
driver.get(‘https://blog.csdn.net/qq_43965708’)

start = time()
driver.implicitly_wait(5)
try:
driver.find_element_by_id(‘kw’)
except Exception as e:
print(e)
print(f’耗时:{time()-start}')


![在这里插入图片描述](https://img-blog.csdnimg.cn/40344113dfa64b56bf4a7e45fad7de0c.png)  
 代码运行到 `driver.find_element_by_id('kw')` 这句之后触发隐式等待,在轮询检查 5s 后仍然没有定位到元素,抛出异常。


#### 强制等待


使用 `time.sleep()` 强制等待,设置固定的休眠时间,对于代码的运行效率会有影响。以上面的例子作为参照,将 隐式等待 改为 强制等待。



from selenium import webdriver
from time import time, sleep

driver = webdriver.Chrome()
driver.get(‘https://blog.csdn.net/qq_43965708’)

start = time()
sleep(5)
try:
driver.find_element_by_id(‘kw’)
except Exception as e:
print(e)
print(f’耗时:{time()-start}')


![在这里插入图片描述](https://img-blog.csdnimg.cn/efd5951596ec4cf7a7307b544b0f33bb.png)  
 值得一提的是,对于定位不到元素的时候,从耗时方面隐式等待和强制等待没什么区别。但如果元素经过 2s 后被加载出来,这时隐式等待就会继续执行下面的代码,但 sleep还要继续等待 3s。




---


  

### 定位一组元素


上篇讲述了定位一个元素的 8 种方法,定位一组元素使用的方法只需要将 `element` 改为 `elements` 即可,它的使用场景一般是为了批量操作元素。


* `find_elements_by_id()`
* `find_elements_by_name()`
* `find_elements_by_class_name()`
* `find_elements_by_tag_name()`
* `find_elements_by_xpath()`
* `find_elements_by_css_selector()`
* `find_elements_by_link_text()`
* `find_elements_by_partial_link_text()`


这里以 CSDN 首页的一个 博客专家栏 为例。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/05544b7ef0074a5fa4c402d474d50306.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_20,color_FFFFFF,t_70,g_se,x_16)  
 下面使用 `find_elements_by_xpath` 来定位三位专家的名称。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/ca3a24da661c4d469ee9ca85ae81a53d.png)  
 这是专家名称部分的页面代码,不知各位有没有想到如何通过 `xpath` 定位这一组专家的名称呢?



from selenium import webdriver

设置无头浏览器

option = webdriver.ChromeOptions()
option.add_argument(‘–headless’)

driver = webdriver.Chrome(options=option)
driver.get(‘https://blog.csdn.net/’)

p_list = driver.find_elements_by_xpath(“//p[@class=‘name’]”)
name = [p.text for p in p_list]
name


![](https://img-blog.csdnimg.cn/8ead2d07ba3743e4b8882b404f48eb30.gif)




---


  

### 切换操作


#### 窗口切换


在 `selenium` 操作页面的时候,可能会因为点击某个链接而跳转到一个新的页面(打开了一个新标签页),这时候 `selenium` 实际还是处于上一个页面的,需要我们进行切换才能够定位最新页面上的元素。


窗口切换需要使用 `switch_to.windows()` 方法。


首先我们先看看下面的代码。


代码流程:先进入 【**CSDN首页**】,保存当前页面的句柄,然后再点击左侧 【**CSDN官方博客**】跳转进入新的标签页,再次保存页面的句柄,我们验证一下 `selenium` 会不会自动定位到新打开的窗口。  
 ![](https://img-blog.csdnimg.cn/025a2c28a7f249679be1b5217f9fb33a.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_20,color_FFFFFF,t_70,g_se,x_16)



from selenium import webdriver

handles = []
driver = webdriver.Chrome()
driver.get(‘https://blog.csdn.net/’)

设置隐式等待

driver.implicitly_wait(3)

获取当前窗口的句柄

handles.append(driver.current_window_handle)

点击 python,进入分类页面

driver.find_element_by_xpath(‘//*[@id=“mainContent”]/aside/div[1]/div’).click()

获取当前窗口的句柄

handles.append(driver.current_window_handle)

print(handles)

获取当前所有窗口的句柄

print(driver.window_handles)


![在这里插入图片描述](https://img-blog.csdnimg.cn/97ccd98881b749b980fa568bedc87620.png)  
 可以看到第一个列表 `handle` 是相同的,说明 `selenium` 实际操作的还是 CSDN首页 ,并未切换到新页面。  
 下面使用 `switch_to.windows()` 进行切换。



from selenium import webdriver

handles = []
driver = webdriver.Chrome()
driver.get(‘https://blog.csdn.net/’)

设置隐式等待

driver.implicitly_wait(3)

获取当前窗口的句柄

handles.append(driver.current_window_handle)

点击 python,进入分类页面

driver.find_element_by_xpath(‘//*[@id=“mainContent”]/aside/div[1]/div’).click()

切换窗口

driver.switch_to.window(driver.window_handles[-1])

获取当前窗口的句柄

handles.append(driver.current_window_handle)

print(handles)
print(driver.window_handles)


![在这里插入图片描述](https://img-blog.csdnimg.cn/8dbdcafc1fae4f7eacaf11fceb1e1fca.png)  
 上面代码在点击跳转后,使用 `switch_to` 切换窗口,**`window_handles` 返回的 `handle` 列表是按照页面出现时间进行排序的**,最新打开的页面肯定是最后一个,这样用 `driver.window_handles[-1]` + `switch_to` 即可跳转到最新打开的页面了。


那如果打开的窗口有多个,如何跳转到之前打开的窗口,如果确实有这个需求,那么打开窗口是就需要记录每一个窗口的 `key`(别名) 与 `value`(`handle`),保存到字典中,后续根据 `key` 来取 `handle` 。


#### 表单切换


很多页面也会用带 `frame/iframe` 表单嵌套,对于这种内嵌的页面 `selenium` 是无法直接定位的,需要使用 `switch_to.frame()` 方法将当前操作的对象切换成 `frame/iframe` 内嵌的页面。


`switch_to.frame()` 默认可以用的 `id` 或 `name` 属性直接定位,但如果 `iframe` 没有 `id` 或 `name` ,这时就需要使用 `xpath` 进行定位。下面先写一个包含 `iframe` 的页面做测试用。



Document

公众号:Python新视野

CSDN:Dream丶Killer

微信:python-sun


![在这里插入图片描述](https://img-blog.csdnimg.cn/b4a2d5d0374c4ae19add93f435024898.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_14,color_FFFFFF,t_70,g_se,x_16)


现在我们定位红框中的 CSDN 按钮,可以跳转到 CSDN 首页。



from selenium import webdriver
from pathlib import Path

driver = webdriver.Chrome()

读取本地html文件

driver.get(‘file:///’ + str(Path(Path.cwd(), ‘iframe测试.html’)))

1.通过id定位

driver.switch_to.frame(‘CSDN_info’)

2.通过name定位

driver.switch_to.frame(‘Dream丶Killer’)

通过xpath定位

3.iframe_label = driver.find_element_by_xpath(‘/html/body/iframe’)

driver.switch_to.frame(iframe_label)

driver.find_element_by_xpath(‘//*[@id=“csdn-toolbar”]/div/div/div[1]/div/a/img’).click()


这里列举了三种定位方式,都可以定位 `iframe` 。  
 ![请添加图片描述](https://img-blog.csdnimg.cn/83a5980685d34d1c975072a04a2f2cd3.gif)




---


  

### 弹窗处理


`JavaScript` 有三种弹窗 `alert`(确认)、`confirm`(确认、取消)、`prompt`(文本框、确认、取消)。


处理方式:先定位(`switch_to.alert`自动获取当前弹窗),再使用 `text`、`accept`、`dismiss`、`send_keys` 等方法进行操作




| 方法 | 描述 |
| --- | --- |
| `text` | 获取弹窗中的文字 |
| `accept` | 接受(确认)弹窗内容 |
| `dismiss` | 解除(取消)弹窗 |
| `send_keys` | 发送文本至警告框 |


这里写一个简单的测试页面,其中包含三个按钮,分别对应三个弹窗。



alert confirm prompt
<script type="text/javascript">

const dom1 = document.getElementById(“alert”)
dom1.addEventListener(‘click’, function(){
alert(“alert hello”)
})

const dom2 = document.getElementById(“confirm”)
dom2.addEventListener(‘click’, function(){
confirm(“confirm hello”)
})

const dom3 = document.getElementById(“prompt”)
dom3.addEventListener(‘click’, function(){
prompt(“prompt hello”)
})


![在这里插入图片描述](https://img-blog.csdnimg.cn/5396957438ba45c390d979397043c0ba.png)  
 下面使用上面的方法进行测试。为了防止弹窗操作过快,每次操作弹窗,都使用 `sleep` 强制等待一段时间。



from selenium import webdriver
from pathlib import Path
from time import sleep

driver = webdriver.Firefox()
driver.get(‘file:///’ + str(Path(Path.cwd(), ‘弹窗.html’)))

sleep(2)

点击alert按钮

driver.find_element_by_xpath(‘//*[@id=“alert”]’).click()
sleep(1)
alert = driver.switch_to.alert

打印alert弹窗的文本

print(alert.text)

确认

alert.accept()

sleep(2)

点击confirm按钮

driver.find_element_by_xpath(‘//*[@id=“confirm”]’).click()
sleep(1)
confirm = driver.switch_to.alert
print(confirm.text)

取消

confirm.dismiss()

sleep(2)

点击confirm按钮

driver.find_element_by_xpath(‘//*[@id=“prompt”]’).click()
sleep(1)
prompt = driver.switch_to.alert
print(prompt.text)

向prompt的输入框中传入文本

prompt.send_keys(“Dream丶Killer”)
sleep(2)
prompt.accept()

‘’‘输出
alert hello
confirm hello
prompt hello
‘’’


![请添加图片描述](https://img-blog.csdnimg.cn/644a843cb0064ce3a531ab063ea52eec.gif)



> 
> 注:细心地读者应该会发现这次操作的浏览器是 `Firefox` ,为什么不用 `Chrome` 呢?原因是测试时发现执行 `prompt` 的 `send_keys` 时,不能将文本填入输入框。尝试了各种方法并查看源码后确认不是代码的问题,之后通过其他渠道得知原因可能是 `Chrome` 的版本与 `selenium` 版本的问题,但也没有很方便的解决方案,因此没有继续深究,改用 `Firefox` 可成功运行。这里记录一下我的 `Chrome` 版本,如果有大佬懂得如何在 `Chrome` 上解决这个问题,请在评论区指导一下,提前感谢!  
>  selenium:3.141.0  
>  Chrome:94.0.4606.71  
>  ![](https://img-blog.csdnimg.cn/ef60836c07244790a708193d76db6659.png)
> 
> 
> 




---


  

### 上传 & 下载文件


#### 上传文件


常见的 web 页面的上传,一般使用 `input` 标签或是插件(`JavaScript`、`Ajax`),对于 `input` 标签的上传,可以直接使用 `send_keys(路径)` 来进行上传。  
 先写一个测试用的页面。



Document

![在这里插入图片描述](https://img-blog.csdnimg.cn/e269df8ea646439a867b3b911f6657b7.png)  
 下面通过 `xpath` 定位 `input` 标签,然后使用 `send_keys(str(file_path)` 上传文件。



from selenium import webdriver
from pathlib import Path
from time import sleep

driver = webdriver.Chrome()
file_path = Path(Path.cwd(), ‘上传下载.html’)
driver.get(‘file:///’ + str(file_path))

driver.find_element_by_xpath(‘//*[@name=“upload”]’).send_keys(str(file_path))


![在这里插入图片描述](https://img-blog.csdnimg.cn/09c327e97f024cbe873ad4b461eed7db.png)


#### 下载文件


##### Chrome浏览器


`Firefox` 浏览器要想实现文件下载,需要通过 `add_experimental_option` 添加 `prefs` 参数。


* `download.default_directory`:设置下载路径。
* `profile.default_content_settings.popups`:0 禁止弹出窗口。


下面测试下载搜狗图片。指定保存路径为代码所在路径。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/5c2afb93333e4c2bac7b2bcb8e44743a.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_20,color_FFFFFF,t_70,g_se,x_16)



from selenium import webdriver

prefs = {‘profile.default_content_settings.popups’: 0,
‘download.default_directory’: str(Path.cwd())}
option = webdriver.ChromeOptions()
option.add_experimental_option(‘prefs’, prefs)
driver = webdriver.Chrome(options=option)
driver.get(“https://pic.sogou.com/d?query=%E7%83%9F%E8%8A%B1&did=4&category_from=copyright”)
driver.find_element_by_xpath(‘/html/body/div/div/div/div[2]/div[1]/div[2]/div[1]/div[2]/a’).click()

driver.switch_to.window(driver.window_handles[-1])
driver.find_element_by_xpath(‘./html’).send_keys(‘thisisunsafe’)



> 
> 代码最后两句猜测有理解什么意思的吗~,哈哈,实际作用是当你弹出像下面的页面 “您的连接不是私密连接” 时,可以直接键盘输入 “thisisunsafe” 直接访问链接。那么这个键盘输入字符串的操作就是之间讲到的 `send_keys`,但由于该标签页是新打开的,所以要通过 `switch_to.window()` 将窗口切换到最新的标签页。
> 
> 
> 


![请添加图片描述](https://img-blog.csdnimg.cn/0226b37efa72425bafa2d74e926efc3f.gif)


##### Firefox浏览器


`Firefox` 浏览器要想实现文件下载,需要通过 `set_preference` 设置 `FirefoxProfile()` 的一些属性。


* `browser.download.foladerList`:0 代表按浏览器默认下载路径;2 保存到指定的目录。
* `browser.download.dir`:指定下载目录。
* `browser.download.manager.showWhenStarting`:是否显示开始,`boolean` 类型。
* `browser.helperApps.neverAsk.saveToDisk`:对指定文件类型不再弹出框进行询问。
* **HTTP Content-type对照表**:<https://www.runoob.com/http/http-content-type.html>



from selenium import webdriver
import os
fp = webdriver.FirefoxProfile()
fp.set_preference(“browser.download.dir”,os.getcwd())
fp.set_preference(“browser.download.folderList”,2)
fp.set_preference(“browser.download.manager.showhenStarting”,True)
fp.set_preference(“browser.helperApps.neverAsk.saveToDisk”,“application/octet-stream”)

driver = webdriver.Firefox(firefox_profile = fp)
driver.get(“https://pic.sogou.com/d?query=%E7%83%9F%E8%8A%B1&did=4&category_from=copyright”)
driver.find_element_by_xpath(‘/html/body/div/div/div/div[2]/div[1]/div[2]/div[1]/div[2]/a’).click()


运行效果与 `Chrome` 基本一致,这里就不再展示了。




---


  

### cookies操作


`cookies` 是识别用户登录与否的关键,爬虫中常常使用 `selenium + requests` 实现 `cookie`持久化,即先用 `selenium` 模拟登陆获取 `cookie` ,再通过 `requests` 携带 `cookie` 进行请求。


`webdriver` 提供 `cookies` 的几种操作:读取、添加删除。


* `get_cookies`:以字典的形式返回当前会话中可见的 `cookie` 信息。
* `get_cookie(name)`:返回 `cookie` 字典中 `key == name` 的 `cookie` 信息。
* `add_cookie(cookie_dict)`:将 `cookie` 添加到当前会话中
* `delete_cookie(name)`:删除指定名称的单个 `cookie`。
* `delete_all_cookies()`:删除会话范围内的所有 `cookie`。


下面看一下简单的示例,演示了它们的用法。



from selenium import webdriver

driver = webdriver.Chrome()
driver.get(“https://blog.csdn.net/”)

输出所有cookie信息

print(driver.get_cookies())

cookie_dict = {
‘domain’: ‘.csdn.net’,
‘expiry’: 1664765502,
‘httpOnly’: False,
‘name’: ‘test’,
‘path’: ‘/’,
‘secure’: True,
‘value’: ‘null’}

添加cookie

driver.add_cookie(cookie_dict)

显示 name = ‘test’ 的cookie信息

print(driver.get_cookie(‘test’))

删除 name = ‘test’ 的cookie信息

driver.delete_cookie(‘test’)

删除当前会话中的所有cookie

driver.delete_all_cookies()


![在这里插入图片描述](https://img-blog.csdnimg.cn/bfc879ed759a41ed8fe86a6444976972.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_20,color_FFFFFF,t_70,g_se,x_16)  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/550183ae5dbb4e89ba5211386346874e.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_19,color_FFFFFF,t_70,g_se,x_16)




---


  

### 调用JavaScript


`webdriver` 对于滚动条的处理需要用到 `JavaScript` ,同时也可以向 `textarea` 文本框中输入文本( `webdriver` 只能定位,不能输入文本),`webdriver` 中使用execute\_script方法实现 `JavaScript` 的执行。


#### 滑动滚动条


##### 通过 x ,y 坐标滑动


对于这种通过坐标滑动的方法,我们需要知道做表的起始位置在页面左上角(0,0),下面看一下示例,滑动 CSDN 首页。



from selenium import webdriver
from time import sleep

driver = webdriver.Chrome()
driver.get(“https://blog.csdn.net/”)
sleep(1)

js = “window.scrollTo(0,500);”
driver.execute_script(js)


![](https://img-blog.csdnimg.cn/431c2e4a7c644d01b5954826b57a2350.gif)


#### 通过参照标签滑动


这种方式需要先找一个参照标签,然后将滚动条滑动至该标签的位置。下面还是用 CSDN 首页做示例,我们用循环来实现重复滑动。该 `li` 标签实际是一种**懒加载**,当用户滑动至最后标签时,才会加载后面的数据。



from selenium import webdriver
from time import sleep

driver = webdriver.Chrome()
driver.get(“https://blog.csdn.net/”)
sleep(1)
driver.implicitly_wait(3)

for i in range(31, 102, 10):
sleep(1)
target = driver.find_element_by_xpath(f’//*[@id=“feedlist_id”]/li[{i}]')
driver.execute_script(“arguments[0].scrollIntoView();”, target)


![请添加图片描述](https://img-blog.csdnimg.cn/ed847e65f11c4c6c9b8dab18603222ec.gif)




---


  

### 其他操作


#### 关闭所有页面


使用 `quit()` 方法可以关闭所有窗口并退出驱动程序。



driver.quit()


#### 关闭当前页面


使用 `close()` 方法可以关闭当前页面,使用时要注意 “当前页面” 这四个字,当你关闭新打开的页面时,需要切换窗口才能操作新窗口并将它关闭。,下面看一个简单的例子,这里不切换窗口,看一下是否能够关闭新打开的页面。



from selenium import webdriver
from time import sleep

driver = webdriver.Chrome()
driver.get(‘https://blog.csdn.net/’)
driver.implicitly_wait(3)

点击进入新页面

driver.find_element_by_xpath(‘//*[@id=“mainContent”]/aside/div[1]/div’).click()

切换窗口

driver.switch_to.window(driver.window_handles[-1])

sleep(3)
driver.close()


![请添加图片描述](https://img-blog.csdnimg.cn/069b86082e14416c987e5c0de9138469.gif)  
 可以看到,在不切换窗口时,`driver` 对象还是操作最开始的页面。


#### 对当前页面进行截图


`wendriver` 中使用 `get_screenshot_as_file()` 对 “当前页面” 进行截图,这里和上面的 `close()` 方法一样,对于新窗口的操作,一定要切换窗口,不然截的还是原页面的图。对页面截图这一功能,主要用在我们测试时记录报错页面的,我们可以将 `try except` 结合 `get_screenshot_as_file()` 一起使用来实现这一效果。



try:
driver.find_element_by_xpath(‘//*[@id=“mainContent”]/aside/div[1]/div’).click()
except:
driver.get_screenshot_as_file(r’C:\Users\pc\Desktop\screenshot.png’)


#### 常用方法总结



获取当前页面url

driver.current_url

获取当前html源码

driver.page_source

获取当前页面标题

driver.title

获取浏览器名称(chrome)

driver.name

对页面进行截图,返回二进制数据

driver.get_screenshot_as_png()

设置浏览器尺寸

driver.get_window_size()

获取浏览器尺寸,位置

driver.get_window_rect()

获取浏览器位置(左上角)

driver.get_window_position()

设置浏览器尺寸

driver.set_window_size(width=1000, height=600)

设置浏览器位置(左上角)

driver.set_window_position(x=500, y=600)

设置浏览器的尺寸,位置

driver.set_window_rect(x=200, y=400, width=1000, height=600)




---


  

### selenium进阶


#### selenium隐藏指纹特征


`selenium` 对于部分网站来说十分强大,但它也不是万能的,实际上,`selenium` 启动的浏览器,有几十个特征可以被网站检测到,轻松的识别出你是爬虫。  
 不相信?接着往下看,首先你手动打开浏览器输入<https://bot.sannysoft.com/>,在网络无异常的情况下,显示应该如下:  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/ba9f948841734b36ba87faeefdd1b8e5.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_19,color_FFFFFF,t_70,g_se,x_16)  
 下面通过 `selenium` 来打开浏览器。



from selenium import webdriver

driver = webdriver.Chrome()
driver.get(‘https://bot.sannysoft.com/’)


![在这里插入图片描述](https://img-blog.csdnimg.cn/987601f97acc4979875c8212e97a4856.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_19,color_FFFFFF,t_70,g_se,x_16)  
 通过 `webdriver:present` 可以看到浏览器已经识别出了你是爬虫,我们再试一下无头浏览器。



from selenium import webdriver

设置无头浏览器

option = webdriver.ChromeOptions()
option.add_argument(‘–headless’)

driver = webdriver.Chrome()

driver.get(‘https://bot.sannysoft.com/’)

对当前页面进行截图

driver.save_screenshot(‘page.png’)


![请添加图片描述](https://img-blog.csdnimg.cn/be92d71a27954c82824e36ae366b590b.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_20,color_FFFFFF,t_70,g_se,x_16)  
 没错,就是这么真实,对于常规网站可能没什么反爬,但真正想要抓你还是一抓一个准的。


说了这么多,是不是 `selenium` 真的不行?别着急,实际还是解决方法的。关键点在于如何在浏览器检测之前将这些特征进行隐藏,事实上,前人已经为我们铺好了路,解决这个问题的关键,实际就是一个 `stealth.min.js` 文件,这个文件是给 `puppeteer` 用的,在 `Python` 中使用的话需要单独执行这个文件,该文件获取方式需要安装 `node.js` ,如果已安装的读者可以直接运行如下命令即可在当前目录生成该文件。



npx extract-stealth-evasions


这里我已经成功获取了 `stealth.min.js` 文件。  
 链接:<https://pan.baidu.com/s/1O6co1Exa8eks6QmKAst91g>  
 **提取码:关注文末小卡片回复“隐藏指纹特征”获取**


下面我们在网站检测之前先执行该js文件隐藏特征,同样使用无头浏览器,看是否有效。



import time
from selenium.webdriver import Chrome

option = webdriver.ChromeOptions()
option.add_argument(“–headless”)

无头浏览器需要添加user-agent来隐藏特征

option.add_argument(‘user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36’)

driver = Chrome(options=option)
driver.implicitly_wait(5)

with open(‘stealth.min.js’) as f:
js = f.read()

driver.execute_cdp_cmd(“Page.addScriptToEvaluateOnNewDocument”, {
“source”: js
})

driver.get(‘https://bot.sannysoft.com/’)
driver.save_screenshot(‘hidden_features.png’)


![请添加图片描述](https://img-blog.csdnimg.cn/75ce4a09ee6e4f618b4da8bc0939bc43.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_20,color_FFFFFF,t_70,g_se,x_16)  
 通过 `stealth.min.js` 的隐藏,可以看到这次使用无头浏览器特征基本都以隐藏,已经十分接近人工打开浏览器了。




---


  

### 实战:selenium模拟登录B站


#### 登录验证码处理


`selenium` 中的难点验证码破解在上文中并没有提及,因为确实没有很好的方式,一般都需要通过第三方平台实现破解,本案例中使用的是[超级鹰]( )平台(收费,大概1元30次,测试用冲个1元就足够)。下面实战开始!


#### 分析登录界面结构


B站登录界面如下。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/08082bdd86d24c56b27fa9d6657f1952.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_20,color_FFFFFF,t_70,g_se,x_16)


首先明确我们的目标,打开登陆界面,定位用户名和密码对应的标签,输入相关数据后,点击登录,此时页面会弹出文字验证码。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/4ad25a74f5be4ba784d9f07e1cf11826.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_20,color_FFFFFF,t_70,g_se,x_16)


下文会用两种方法进行验证码图片的获取,并提交给超级鹰进行识别,接收到汉字的坐标后,处理坐标数据,然后用动作链点击对应坐标操作,完成登录。


下面使用 `selenium` 打开登录页面。



driver.get(‘https://passport.bilibili.com/login’)

定位用户名,密码输入框

username = driver.find_element_by_id(‘login-username’)
password = driver.find_element_by_id(‘login-passwd’)

将自己的用户名密码替换xxxxxx

username.send_keys(‘xxxxxx’)
password.send_keys(‘xxxxxx’)

做了那么多年开发,自学了很多门编程语言,我很明白学习资源对于学一门新语言的重要性,这些年也收藏了不少的Python干货,对我来说这些东西确实已经用不到了,但对于准备自学Python的人来说,或许它就是一个宝藏,可以给你省去很多的时间和精力。

别在网上瞎学了,我最近也做了一些资源的更新,只要你是我的粉丝,这期福利你都可拿走。

我先来介绍一下这些东西怎么用,文末抱走。


(1)Python所有方向的学习路线(新版)

这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

最近我才对这些路线做了一下新的更新,知识体系更全面了。

在这里插入图片描述

(2)Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

在这里插入图片描述

(3)100多个练手项目

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。

在这里插入图片描述

(4)200多本电子书

这些年我也收藏了很多电子书,大概200多本,有时候带实体书不方便的话,我就会去打开电子书看看,书籍可不一定比视频教程差,尤其是权威的技术书籍。

基本上主流的和经典的都有,这里我就不放图了,版权问题,个人看看是没有问题的。

(5)Python知识点汇总

知识点汇总有点像学习路线,但与学习路线不同的点就在于,知识点汇总更为细致,里面包含了对具体知识点的简单说明,而我们的学习路线则更为抽象和简单,只是为了方便大家只是某个领域你应该学习哪些技术栈。

在这里插入图片描述

(6)其他资料

还有其他的一些东西,比如说我自己出的Python入门图文类教程,没有电脑的时候用手机也可以学习知识,学会了理论之后再去敲代码实践验证,还有Python中文版的库资料、MySQL和HTML标签大全等等,这些都是可以送给粉丝们的东西。

在这里插入图片描述

这些都不是什么非常值钱的东西,但对于没有资源或者资源不是很好的学习者来说确实很不错,你要是用得到的话都可以直接抱走,关注过我的人都知道,这些都是可以拿到的。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip1024c (备注python)
img

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

在这里插入图片描述

(3)100多个练手项目

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。

在这里插入图片描述

(4)200多本电子书

这些年我也收藏了很多电子书,大概200多本,有时候带实体书不方便的话,我就会去打开电子书看看,书籍可不一定比视频教程差,尤其是权威的技术书籍。

基本上主流的和经典的都有,这里我就不放图了,版权问题,个人看看是没有问题的。

(5)Python知识点汇总

知识点汇总有点像学习路线,但与学习路线不同的点就在于,知识点汇总更为细致,里面包含了对具体知识点的简单说明,而我们的学习路线则更为抽象和简单,只是为了方便大家只是某个领域你应该学习哪些技术栈。

在这里插入图片描述

(6)其他资料

还有其他的一些东西,比如说我自己出的Python入门图文类教程,没有电脑的时候用手机也可以学习知识,学会了理论之后再去敲代码实践验证,还有Python中文版的库资料、MySQL和HTML标签大全等等,这些都是可以送给粉丝们的东西。

在这里插入图片描述

这些都不是什么非常值钱的东西,但对于没有资源或者资源不是很好的学习者来说确实很不错,你要是用得到的话都可以直接抱走,关注过我的人都知道,这些都是可以拿到的。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip1024c (备注python)
[外链图片转存中…(img-crcxTxOV-1713187241509)]

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 11
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值