Python笔记之selenium批处理url

已于 2022-11-17 11:31:30 修改
阅读量654 收藏
点赞数
文章标签： python
于 2022-11-16 20:28:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20043087/article/details/127892370
版权

 目的：在下载ASTER的dem数据时，nasa推荐的cygwin报错无法授权，wget也报错400 bad request，鉴于手上已有每个数据的URL，决定自己写个批下载脚本

要点：

1. 初始化webdriver时，设置默认下载路径

chromeOptions = webdriver.ChromeOptions()
prefs = {"download.default_directory": "E:\\ASTER_GDEM_V3"}#默认下载路径
chromeOptions.add_experimental_option("prefs", prefs)

2. 创建driver，与chrome不同，火狐要指定以变量形式指定driver的位置

#-----------------------chrome---------------------------#
driver = webdriver.Chrome(r"D:\chromedriver.exe")
#-----------------------FireFox---------------------------#
driver=webdriver.Firefox(executable_path=r"D:\geckodriver.exe")

3. By.XPATH查找网页元素自动输入账号密码登录

un = driver.find_element(by=By.XPATH, value='//input[@type=
最低0.47元/天 解锁文章
水滴石穿1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Selenium 被反爬 报400 打不开
我的博客
04-15 1048
开源地址：https://github.com/ultrafunkamsterdam/undetected-chromedriver。直接使用第三方开源的driver undetected-chromedriver。附带浏览器环境检测网址：https://bot.sannysoft.com/它自带一些常见的因为浏览器环境问题被反爬的反反爬配置，可以规避部分风控。2、替换原生的Selenium。经测试，某知识产权网可用。
Selenium:模拟用户点击（读取并执行本地文件中的URL链接）
琦彦
10-28 8733
Python环境 3.6.1 本地URL链接文件 https://blog.csdn.net/fly910905/article/details/83418623 https://blog.csdn.net/fly910905/article/details/83417911 https://blog.csdn.net/fly910905/article/details/8314426...
【selenium 屏蔽第三方请求方法】
cxm19830125的专栏
01-27 1331
如果软件中存在很多第三方的请求，导致访问URL的时候，老是在建立安全连接中，卡住，需要做屏蔽第三方请求的方法，代码如下： #屏蔽第三方请求方法 selenium.execute_cdp_cmd('Network.setBlockedURLs', {"urls": ["*.googleapis.com","www.google-analytics.com","*.facebook.net"]}) selenium.execute_cdp_cmd('Network.enable', {}) ...
Selenium 反反爬
hasanjoon的博客
06-22 1836
Selenium 反反爬措施
Linux使用wget 命令下载文件报错400 Bad Request ｜ 批量下载文件
m0_38051901的博客
10-15 4640
在服务器上下载数据集 下载文件到指定目录，其中/user/myDir是指定目录，/https://……对应的是需要下载的文件的链接地址 wget -P /user/myDir /https://…… 出现的问题是明明链接在本地浏览器里可以直接下载，但使用wget命令始终会报400 Bad Request错误 解决方案： 给链接地址加''''可能是因为url中有特殊字符，让centos中断了url的字符串，服务端就无法解析这个url了，加上''后，centos就能正确解析整个命令 参考链接：.
Selenium自动化测试中常见的异常详解
Rocky006的博客
10-23 622
开发人员在编写代码时总是会考虑到不同的应用场景，但也可能会出现实现效果不如预期的情况。同样的原则也适用于测试代码，编写测试代码的主要目的是测试现有产品的功能、发现错误并使产品100%无错误。 有句话说得好："真相总是比小说更离奇"，而在执行 Selenium 测试自动化时，你会看到很多 "离奇的事情"。执行测试代码时遇到的这些事情或场景可能不是很常见，但测试实现应该足够强大以处理此类场景。这些场景被恰当地称为异常，在使用 Selenium 进行自动化浏览器测试时，您会遇到许多此类异常。
python之selenium爬虫
02-21
python之selenium爬虫，使用python框架selenium，配合安装的chrome浏览器进行访问百度搜索，进行仿真的填写关键词、点击搜索、查看搜索结果。
Selenium python之学习笔记
12-04
将Selenium与Python结合使用，可以为测试人员提供一种简单有效的方式来编写自动化测试脚本。 在本学习笔记中，首先提到了编码问题，指出了源程序需要使用utf-8编码，这对于中文字符的支持尤为重要。接下来，笔记...
python爬虫 使用selenium 实现中英互译
03-23
Python爬虫技术在数据获取和自动化测试中扮演着重要角色，而Selenium作为一个强大的Web浏览器自动化工具，常常被用于模拟真实用户操作，如点击、滚动、填写表单等。在这个项目中，我们专注于使用Selenium实现中英...
Python爬虫-Selenium
最新发布
03-05
Python爬虫技术在数据获取和自动化测试领域中扮演着重要角色，Selenium 是一个功能强大的浏览器自动化工具，常被用于模拟真实用户操作，比如点击、输入等。在Python中使用Selenium可以方便地进行网页动态内容的抓取...
Python3.6.4+Selenium自动化框架搭建
04-18
Python3.6.4+Selenium自动化框架搭建,Windows平台安装,python3.6.4环境配置,通过pip安装Robot Framework自动化测试框架，框架特性、安装步骤、基础知识介绍
python url拼接的方法
花生日记
05-12 4454
例如在上面的例子中，我们想要将两个 url拼接在一起。我们知道， html中的标签只包含元素名称，例如： 在上面的例子中，我们可以看到： （1）第一个 url使用了<data.co unt>标签来区分，第二个 url使用了< path>标签来区分。使用 header标签将两个 url拼接在一起的时候，我们可以使用一些特殊的参数来设置和这个 url相关联的 header标签，例如： 如果想要让 header标签和内容相关联，那么我们可以这样做： 下面的代码使用了不同的参数来设置一个新的 url。
“status“: 400, “error“: “Bad Request“,
Ghjkku的博客
09-28 7万+
【代码】“status“: 400, “error“: “Bad Request“,
踩坑！！400(bad request)的解决方案
sxh06的博客
04-18 1万+
最近在做一个ssm+shiro的在线组卷，在线考试平台时，我在考生点击交卷按钮后发送一个ajax请求给后端，完成交卷，但是前端却提示如下 ajax请求如下： url:'jiafen?content='+content+'&myselect='+val+"&examId="+'${sessionScope.thisenexamId}'+'&username='+'${user.username}' 好家伙400，然后我就一顿百度，网友说是什么请求参数的问题，参数个数不匹配，请求无法
HTTP请求报错：400 Bad Request解决方法！！（终极整理）
热门推荐
good_good_xiu的博客
04-03 37万+
问题场景：当项目的前端页面使用ajax请求访问后端时，出现该错误。 我这里是测试接口时，发生了错误。 原因一：请求参数个数不对。 后端接口上明确规定了请求参数的个数。比如：接口（方法）中的值中使用了requestparam注解，requestparam注解中有个require属性，默认为true，意思则是，必须要传该参数的值（该参数不可为空）。 解决办法： 1.如果该参数是可传可不传的，修改require属性为false。 2.检查前端js文件中对应的ajax请求中的请求数据是否为空，或者是否有该参数。
自动化测试——最常见的Selenium异常
weixin_46741429的博客
09-19 1419
在使用Selenium进行自动浏览器测试时，会遇到错误、异常。
selenium自动化测试_49自动化测试中最常见的Selenium异常
最佳 Java 编程
07-10 2517
selenium自动化测试 开发人员将始终在编写代码时牢记不同的场景，但是在某些情况下，实现可能无法按预期工作。 相同的原则也适用于测试代码，该代码主要用于测试现有产品的功能，发现bug并确保产品100％不受bug影响。 正确地说，真理总是比小说更陌生，当您执行Selenium测试自动化时，您会目睹很多“陌生的事物”。 在执行测试代码时遇到的这些事情或场景可能不是很常见，但是测试实现应该...
selenium模块中的find_element_by_id方法无法使用,改用driver.find_element(by=By.ID, value=None)
weixin_51637785的博客
06-28 4万+
在学习selenium模块的时候,由于是在白嫖的,往年教程 点击运行后报错AttributeError: 'WebDriver' object has no attribute 'find_element_by_id''WebDriver'没有find_element_by_id这个方法搜索出来的基本都是就这个方法进行讲解在尝试方法中发现，finde_element这个方法有点开配置文件,发现通过find换了写法，尝试用这种写法去写 又报NameError的错 By没有定义，声明By模块，最后改良
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值