selenium的一些要注意的地方

最新推荐文章于 2023-05-04 23:30:00 发布
最新推荐文章于 2023-05-04 23:30:00 发布
阅读量1.1k 收藏
点赞数
分类专栏： python爬虫 文章标签： ubuntu python selenium
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WMN7Q/article/details/78515264
版权
本文记录了使用selenium爬取北邮人论坛时遇到的问题及解决方案，包括'geckodriver'路径问题、TimeoutException错误以及解决办法。还提到了模拟键盘操作和PhantomJS的使用，并给出了python+scrapy+selenium结合爬虫的实践示例。
摘要由CSDN通过智能技术生成

今天在尝试了一下如何爬取北邮人论坛，最后使用selenium来实现了。

下面记录一下使用selenium要注意的地方。

  • python selenium模块使用出错，错误代码为：Message: ‘geckodriver’ executable needs to be in PATH. 
ubuntu16.04环境下 解决方法：
下载 geckodriverckod   
地址： mozilla/geckodriver
解压后将geckodriverckod 存放至 /usr/local/bin/ 路径下即可
sudo mv ～/Downloads/geckodriver /usr/local/bin/

#具体答案可以查看下面的链接

链接：https://www.zhihu.com/question/49568096/answer/131093426

  • 出现错误:selenium.common.exceptions.TimeoutException: Message: Screenshot: available via screen

driver = webdriver.PhantomJS(service_args=[‘–ignore-ssl-errors=true‘, ‘–ssl-protocol=

最低0.47元/天 解锁文章
WMN7Q
关注
专栏目录
万字博文教你爬虫必备-＞Selenium【详解篇】（初篇）
孤寒者的博客
08-05 54万+
万字博文教你爬虫必备-＞Selenium【详解篇】（初篇）
selenium使用代理IP_python selenium4 使用代理
最新发布
m0_60635609的博客
04-30 738
注意这里的a格式为：ip:port比如在X宝搜索：XX手机接下来是点击按钮：需要登录，我也不知道我的X宝账号密码，随便演示输入一下…剩下的自己操作这里是账号密码分析：所以定位账号密码如下，账号我设置的输入：chuanchuan,密码设置的输入：123456 瞎编的，具体根据你的实际账号来操作，我就不讲下去了，就是定位定位点点点。
selenium优缺点_Selenium测试自动化工具的优缺点
编程故事的地方
10-23 1万+
selenium优缺点 谁不喜欢深背景的命名故事？ 在2000年代初期，一家名为Mercury Interactive的公司通过其工具Astra Quick Test统治了测试自动化领域。 这不是可以想象的最好的产品。 例如，您只能在Windows计算机上运行测试，仅支持少量浏览器版本，并且必须使用一种语言编写脚本-VBScript。 当软件工程师Jason Huggins构建新的创新测试...
selenium环境等需要注意的点
rabbit198888的博客
05-28 361
1、TypeError: 'NoneType' object is not iterable  返回数据为空值数据库获取的一个字段的数据，只是一个列表数据，len为1，需要split分隔adb server version (32) doesn't match this client (36)或（35）或（39）  有可能某个应用软件的商品与adb冲突了,如豌豆荚的ppadbserver.exe也...
selenium脚本编写的注意点，那些我踩过的坑
软件测试技术资源分享官
04-24 287
在通过python+selenium编写ui自动化脚本的时候，我遇到过很多需要注意的点，今天分享给大家一下。 一、睡眠时间 1、 强制等待时间 sleep() 必须导入time包后才可以使用，强制等待生效时间=页面跳转时间+sleep()设置休眠时间 强制等待时间使用语法：sleep(s) s表示时间，以秒为单位 例：sleep(2) 休眠2s 2、显示等待时间 WebDriverWait() 必须导入WebDriverWait包才可以使用，显示等待时间是针对单个元素生效的，当在规定时间内找到了对应元素，则
python selenium优缺点
caidingjiao的博客
02-29 4876
静态爬取的方法太多太多，也很简单。 但是动态爬取就不一样了，普通的网站抓包也能找到接口文件，但是大型网站就不是那么容易找了，所以在数据量不大的情况下还是乖乖用selenium来爬咯。 selenium优点：貌似没有他不能爬的，操作简单。 selenium缺点：费时，效率低，模仿人工点击。 准备录一期教程，不知道有没有小伙伴喜欢 暂时没时间，我会尽快录制好发到公众号 ...
selenium基础2-优缺点、三种等待方式wait和局限
辩学思问的博客
02-12 2140
最近用selenium进行采集，遇到一些麻烦，对selenium的优缺点有了更深刻的理解。 先说说优点吧： 可视化界面，初学容易上手。 不深入理解动态加载和后端的交互也可以进行数据采集 比较符合普通人操作网页进行复制粘贴的习惯 缺点也很明显： 加载效率低，容易造成阻塞，采集效率也就不高 比较不易迁移，要适配没有界面的linux需要进行较多修改 可视化的采集容易遇到浏览器问题，比较不稳健 我...
selenium自动化
一只臭皮匠的博客
01-01 1915
第一章 自动化测试简介、selenium 环境搭 建 1.1 自动化测试简介 B/S Web 自动化:selenium 手机：移动段自动化，appnium 接口自动化：工具：postman、Jmeter 代码：httpclient 性能测试 自动化测试流程： 可行性分析-->测试需求分析--> 制定测试计划 -->自动化测试设计--> 测试脚本开-->无人职 守测试 -->提交测试报告--> 脚本维护阶段 1.4 自动化测试及工具简述 QTP：是 quick
Selenium入门详细教程
qq_43108684的博客
05-11 1271
Selenium + python学习记录 文章目录Selenium + python学习记录前言一、selenium的安装二、webdriver驱动浏览器使用selenium+python打开百度搜索谷歌 前言 学python，做自动化测试，selenium是我们必然要学习的一个自动化测试框架。 一、selenium的安装 因为我们使用的是python+selenium的测试结构，我们这里就直接使用python来安装selenium，因为这里我们可以理解selenium为python的一个库。 pip
Selenium与RF框架各自的优缺点
w13632910369的博客
10-16 7812
Selenium自动化测试框架优点： 1.广泛的支持语言，平台和浏览器。支持多种平台(Windows，Linux，Solaris)和多种浏览器(IE，Firefox，Opera，Safari)，可以用多种语言(Java，Ruby，Python，Perl，PHP，C#)编写测试用例。 2.可以集成各种开发平台，如Jenkins，Maven，TestNG，QMetry，SauceLabs等。 3...
python3.6+selenium+phantomJS 网页爬虫报错NoSuchElementException问题及解决方法
ariel_dy的博客
12-06 4304
python3.6+selenium+phantomJS 网页爬虫报错NoSuchElementException问题及解决方法
selenium.common.exceptions.TimeoutException: Message: timeout: Timed out receiving message from rend
ainivip的专栏
10-09 6172
最近跑自动化测试时遇到的问题，先放到这，后续再深入研究 "C:\Program Files\python\python.exe" F:/python/Login—.py Traceback (most recent call last): File "F:/python/Login—.py", line 28, in <module> driver.get(url_1) File "C:\Program Files\python\lib\site-packages\seleni...
webdriver-helper又出新版：可精简selenium的错误信息
python_sanmu的博客
05-04 1169
不管是chrome还是firefox，selenium报错时大部分的错误提示都是无用的，对我们来说真正价值的只有两行。在selenium的使用过程中，会出现很多没有的信息，这些信息让控制台和日志文件的可读性降低了很多。如果能够精简一下，不论是在控制台，还是在日志文件中，都可以极大的提高可读性。版本的webdriver_helper，同样的代码，提示是这样的。由图可知，优化后的错误提示，非常的短小、精悍，同时重复的展示了。还有一部分内容，就是selenium的错误提示，非常的冗长。
selenium.common.exceptions.TimeoutException: Message: 问题解决
热门推荐
qsmy_an的博客
05-20 2万+
selenium.common.exceptions.TimeoutException: Message: 问题解决 好几天没学基础知识了，开始写自动化的框架了，中间遇到的问题，解决之后都记录下~ 写了一个find_elements文件，调试的时候一执行报错： D:\my\python\python.exe D:/my/learning/kuangjia/ZTKXin/Utilpackage/find_elements.py ****** xpath id Traceback (most recent
python 模拟浏览器selenium 微信_Python使用Selenium模块实现模拟浏览器抓取淘宝商品美食信息功能示例...
weixin_39790510的博客
12-05 183
本文实例讲述了Python使用Selenium模块实现模拟浏览器抓取淘宝商品美食信息功能。分享给大家供大家参考，具体如下：import refrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfr...
IE11: selenium.common.exceptions.TimeoutException: Message: Timed out waiting for page to load
yiluoseraph的技术博客
12-04 2389
https://www.selenium.dev/documentation/en/driver_idiosyncrasies/driver_specific_capabilities/ from selenium import webdriver options = webdriver.IeOptions() options.ignore_protected_mode_settings = True driver = webdriver.Ie(options=options) .
pythonselenium设置_Python Selenium参数配置方法解析
weixin_39768645的博客
12-10 633
这篇文章主要介绍了Python Selenium参数配置方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下selenium.获取浏览器大小、设置浏览器位置、最大化浏览器get_window_size() 　　　　获取浏览器大小?set_window_size() 　　　　设置浏览器大小?get_window_position() 　 　获取浏...
selenium爬虫问题: chromedriver超时运行崩溃
大师兄
09-01 1万+
原文链接:https://dsx2016.com/?p=578 chrome运行一段时间后崩溃,代码没动,之前是好好的,超时和异常也处理了,还是莫名崩溃 File "E:\github\yunkt\app.py", line 154, in get_book_isbn browser_douban.execute_script('window.stop()') # 当页面加载...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值