爬虫--selenium使用心得

最新推荐文章于 2022-09-11 21:54:07 发布
最新推荐文章于 2022-09-11 21:54:07 发布
阅读量191 收藏
点赞数
分类专栏： 爬虫 文章标签： python java selenium 数据结构 html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46048397/article/details/117986438
版权

超级鹰验证码识别

反时间戳反爬机制

在自动化操作党课时发现，党课登录界面的验证码采用了时间戳反爬，在我获取到图片服务器地址后，再向这个地址发起请求时，会自动更改后面的时间戳，查网页源码发现：

党课时间戳反爬.png

于是采用selenium截屏操作进行验证码识别。

selenium验证码截屏.png

1.找到该元素
2.使用screenshot方法截屏

坑

在爬取表格的时候，用xpath解析数据时，不要写tbody，xpath在处理文档时候把他给剔除了，写上去会找不到元素

帅九妹
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫-Selenium
03-05
122版本的Chrome驱动phantomjs的驱动
Selenium使用心得
梦想是要有的，万一实现了呢！
06-16 678
在自动化测试中Selenium还是简单易学的，为了帮女朋友做一个重复性工作，刚好她也在学就尝试先帮她做出来，刚开始只是摸石头过河，实践中获取经验。把她的关于自动化测试的书翻了翻，知道了一些基本用法。后面构建多浏览器同步协作和鼠标事件以及整合构建工具没有过多研究。 主要注意一下几个点： 1、 当元素定位不到时考虑的种情形： ①动态id定位不到元素 #这里的div根据不同行下标而变化 print("准备获取元素，num_list_index为",self.curren.
关于学习selenium（基于python）的心得和总结 20200527
SO___LEARN的博客
05-27 770
在2019年6月份左右，买了一本书基于python语言的selenium书，再加上在网上看视频学习，自己操作，写一些学习的感想，记录一下。 在学习的过程中，感觉需要有一定的python基础，然后要对基本的前端页面有所了解。虽然自己没有学习过python，但以前学过基本的java知识，再接触python，也不算是很难。对于学习selenium来说，还是足够的，没有那么复杂的逻辑，毕竟我是借助python写自动化测试脚本。 前期准备： 1.基本的python代码能力 2.熟悉HTML网页基本组成结构 1）标签对
selenium测试使用心得
海宇的博客
08-05 428
    最近项目组决定采用selenium作为测试工具，在使用过程中发现selenium的一些问题，写出来，大家一起分享一下。希望对使用selenium的人有所帮助。     场景1： 模拟键盘的keypress事件，每输入一个字符都进行整体的校验，selenium提供了keyPress(arg0, arg1)方法，对于输入普通的字符是很正常的，比如：'3'，'s'，'D'，','等，但是...
python3爬虫Selenium学习心得
chenzao123的博客
03-09 767
一. 介绍    Selenium是一个Web自动化测试工具，支持多种编程语言，支持跨浏览器的自动化测试工具。    Selenium在爬虫中一般应用在动态网页的内容经过加密后，并且JavaScript代码混淆，肉眼很难读取完成。这种情况下使用selenium来模拟浏览器解析Javascript, 再爬取被解析以后的内容。python版的selenium官方文档。二 使用   1. demo演示 ...
Selenium框架的使用心得
zjw的博客
02-21 6122
最近使用selenium框架实现业务前端的UI自动化，在使用selenium时，有一些心得想要和大家分享一下。 Selenium是一款用于web应用程序测试的工具，常用来实现稳定业务的UI自动化。这里，不想对其发展历史做介绍，也不想用官方语言去描述。简单的一句话总结其运行的基本原理：适配于对应浏览器的webdriver驱动解析自动化执行脚本，按其规定的方式操作浏览器。 到这里，我们也大致了解s...
python爬虫----selenium特征去除
09-27
selenium特征去除使用的js文件
爬虫-python-selenium-自动爬取全站IT类书籍
11-26
自己也忘记什么时候放在项目列表里的一个爬虫项目。有的网站公开的书籍资源很丰富，但是一点一点下太慢了，用这个爬虫来实现...用python+selenium自动化实现在此源码基础上学习和修改，可以实现其他自动化下载爬虫。
22期爬虫-05-selenium作业-付凯（付凯）.py
09-27
22期爬虫-05-selenium作业-付凯（付凯）.py
网络爬虫-如何通过selenium框架实现自动切换浏览器页面-Python实例源码.zip
12-13
网络爬虫-如何通过selenium框架实现自动切换浏览器页面-Python实例源码.zip
Selenium Webdriver学习总结
01-14
webdriver提供了丰富的API，有多种定位策略：id，name，css选择器，xpath等，其中css选择器定位元素效率相比xpath要高些，使用id，name属性定位元素是最可靠，效率最高的一种办法。
selenium学习总结
01-20
公司要求自学了半个月的总结.从下载相关插件地址到java程序代码测试,适于入门学习.
Selenium遇到问题总结
06-19
Selenium遇到问题总结,安装、工具下载地址、在win7 IE8下运行产生的问题
关于selenium的心得
Xun_Hello的博客
05-15 365
今天我在写爬虫的时候，有点奇怪，就是可以达到我的预期效果，但是有bug我实在是找不出来啦，这是我的代码： import time from selenium import webdriver from bs4 import BeautifulSoup import requests import os import traceback def write_path(data): c...
selenium安装及使用总结
乙壳虫的博客
07-23 3918
安装  第一步：我是Windows的，在cmd下直接pip install selenium就可以了。 第二步：selenium是一个自动化测试工具，需要配合浏览器使用，如果用的是Chrome的话，就下载一个ChromeDriver，当然其他的浏览器，比如火狐的就安装对应的驱动就行。注意，要根据自己浏览器的版本来下载相应ChromeDriver。查看版本可在浏览器右上角——帮助——关于Goog...
selenium小结
IXingFu的博客
12-02 669
1、自动化测试：将人为的测试行为转化为机器执行的过程。 2、为什么要进行自动化测试：解决回归测试；解决压力测试；解决兼容性测试；提高测试效率，保证产品质量。 3、selenium简介：selenium是一个用于Web应用程序测试的工具。 4、selenium功能特性：selenium是一个开源和可移植的Web测试框架；selenium IDE为创作测试提供了回放和录制功能；selenium支持各种操作系统，浏览器和编程语言。 5、selenium局限性：selenium不支持桌面应用程序的自动化测试
爬虫之selenium
weixin_54812237的博客
06-16 667
一、selenium 介绍: 1.selenium是一个web自动化测试用的框架. 程序员可以通过代码实现对浏览器的控制, 比如打开网页, 点击网页中的元素, 实现鼠标滚动等操作. 2.它支持多款浏览器, 如谷歌浏览器, 火狐浏览器等等, 当然也支持无头浏览器. 目的: 在爬取数据的过程中, 经常遇到动态数据加载, 一般动态数据加载有两种, 一种通过ajax请求加载数据, 另一种通过js代码加载动态数据. selenium可以模拟人操作真实浏览器, 获取加载完成的页面数据 ajax:  &n
2020-09-10
qq_41855454的博客
09-10 1357
Python+selenium自动化爬取拉勾网的职位信息 前言： python爬虫方法有多种，比如request请求、beautifulSup、selenium等。其中selenium是模拟浏览器操作，只要运行爬虫代码，爬取数据的过程均由程序控制浏览器，无需人工操作。 selenium的优点：由于是模拟浏览器操作，只要设置适当的爬取间隔时间，就不用担心被识别出是爬虫；只要是浏览器可以浏览到的东西，python+selenium都可以爬到。 selenium的缺点：由于该方法是模拟浏览器操作，所以爬取
Selenium使用经验总结
专注成就非凡
09-11 2419
Selenium使用起来比较繁琐，现整理易错的地方记录下来，以供以后参考。
cmd---pip install selenium
最新发布
04-27
好的，你想了解关于使用命令行安装 Selenium 的方法，对吗？那么可以通过在命令行中输入 "pip install selenium" 来安装 Selenium。在安装完成之后，你就可以在 Python 中使用 Selenium 进行自动化测试和网页爬取等...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值