【爬虫】web自动化和接口自动化

已于 2024-03-19 09:17:45 修改
阅读量572 收藏 11
点赞数 10
分类专栏： 爬虫 文章标签： 自动化 运维 网络爬虫 爬虫 python
于 2024-03-19 09:15:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63636799/article/details/136825737
版权

 专栏文章索引：爬虫

目录

一、介绍

二、推荐

1.接口自动化

2.Web自动化

一、介绍

爬虫技术一般可以分为两种类型：接口自动化和web自动化。下面是它们的简要介绍：

1.接口自动化

接口自动化技术的主要目的是通过模拟HTTP请求来实现自动化，通常用于测试web API和抓取数据。接口自动化爬虫可以直接访问数据接口获取数据，它可以通过发送规范的HTTP请求来实现数据的抓取和操作。接口自动化技术适用于需要大量抓取数据的需求，以及在抓取时对页面交互没有要求的场景。

综上所述，根据不同的需求和场景，可以选择适合自己的爬虫类型，分别应用Web自动化或接口自动化技术来进行网页数据的抓取和处理。

2.Web自动化

Web自动化技术旨在模拟人类操作浏览器来实现自动化，通常用于对网页进行操作和抓取数据。Web自动化爬虫可以通过自动化浏览器驱动，模拟人类的行为来实现数据的抓取和操作。Web自动化技术可以模拟页面操作、登陆、填表、拖拽等操作，非常适合于需要登录并模拟用户操作的网站、复杂的网页交互以及需要抓取动态网页数据的需求。

二、推荐

1.接口自动化

  • requests库

python的第三方库，目前使用比较多

2.Web自动化

  • Selenium

初学者可以先学习这个工具

  • DrissionPage

语法跟Selenium类似，由于出现的比较晚，检测还不是很严格

  • SaossionPage

DrissionPage的plus版

我和程序有一个能跑就行
关注
  • 10
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
chromedriver.exe-119.0.6041.0、64位、爬虫、自动化测试、Web自动化
10-02
对应chrome版本：119.0.6041.0 系统环境：win64 内容概述：ChromeDriver.exe是一款实用的chrome浏览器驱动工具，能够用于自动化测试、网络爬虫和操作浏览器，其主要作用是模拟浏览器操作，在使用时需要与对应的chrome浏览器版本匹配，否则无法驱动。 应用场景：网络爬虫、自动化测试、web自动化，例如与Selenium等自动化测试框架一起使用，提供更高级的浏览器自动化，实现自动访问、自动输入、自动点击、自动发送等操作。 驱动配置：使用前需正确配置系统环境变量，以便系统可以找到chromedriver.exe
chromedriver.exe-118.0.5993.3、64位、爬虫、自动化测试、Web自动化
10-02
对应chrome版本：118.0.5993.3 系统环境：win64 内容概述：ChromeDriver.exe是一款实用的chrome浏览器驱动工具，能够用于自动化测试、网络爬虫和操作浏览器，其主要作用是模拟浏览器操作，在使用时需要与对应的chrome浏览器版本匹配，否则无法驱动。 应用场景：网络爬虫、自动化测试、web自动化，例如与Selenium等自动化测试框架一起使用，提供更高级的浏览器自动化，实现自动访问、自动输入、自动点击、自动发送等操作。 驱动配置：使用前需正确配置系统环境变量，以便系统可以找到chromedriver.exe
chromedriver.exe-118.0.5993.32、32位、爬虫、自动化测试、Web自动化
10-02
对应chrome版本：118.0.5993.32 系统环境：win32 内容概述：ChromeDriver.exe是一款实用的chrome浏览器驱动工具，能够用于自动化测试、网络爬虫和操作浏览器，其主要作用是模拟浏览器操作，在使用时需要与对应的chrome浏览器版本匹配，否则无法驱动。 应用场景：网络爬虫、自动化测试、web自动化，例如与Selenium等自动化测试框架一起使用，提供更高级的浏览器自动化，实现自动访问、自动输入、自动点击、自动发送等操作。 驱动配置：使用前需正确配置系统环境变量，以便系统可以找到chromedriver.exe
chromedriver.exe-118.0.5993.32、64位、爬虫、自动化测试、Web自动化
10-02
对应chrome版本：118.0.5993.32 系统环境：win64 内容概述：ChromeDriver.exe是一款实用的chrome浏览器驱动工具，能够用于自动化测试、网络爬虫和操作浏览器，其主要作用是模拟浏览器操作，在使用时需要与对应的chrome浏览器版本匹配，否则无法驱动。 应用场景：网络爬虫、自动化测试、web自动化，例如与Selenium等自动化测试框架一起使用，提供更高级的浏览器自动化，实现自动访问、自动输入、自动点击、自动发送等操作。 驱动配置：使用前需正确配置系统环境变量，以便系统可以找到chromedriver.exe
Selenium （WEB自动化工具/爬虫）
08-15
Selenium （WEB自动化工具/爬虫）：本文包含WEB自动化，以及爬虫使用方法 本文详细介绍了Selenium Python版本的自动化测试方法和实践，通过本文学习你将掌握如下内容：Selenium 测试环境搭建单元测试、生成测试报告、定位元素、WebDriver属性和方法、WebElement属性和方法、操作form表单、操作下拉列表、处理等待、远程测试、Selenium Grid、鼠标事件、键盘事件、调用js、屏幕截图、Selenium IDE、文件上传、设置代理、无界面运行、参数化测试、数据驱动的测试DDT等。
吐血整理，进阶转自动化测试学习路线（接口/Web/App）看这篇就够了
m0_60054525的博客
07-05 1021
自动化测试是将人为测试情形转化为机器执行的过程。一般说来，测试用例设计后，由测试员根据测试用例中描述的规则一步步地进行测试，得到测试结果和预期结果的行为。在这里过程中，为了更好地节省人力、时间或硬件资源，提升测试效率。什么可以自动化？实际上好多，可是通常容易曲解这个问题。有两个主要类别，功能性和非功能性：功能性：测试软件的具体业务应用程序。非功能性：用于测试软件的其余要求（例如性能，安全性，数据存储等）。自动化测试的学习线路搞定性能、自动化测试。
【软件测试】Web、App、接口自动化区别
最新发布
weixin_46453070的博客
02-05 1412
Web自动化、App自动化和接口自动化是软件测试领域中的三种不同的自动化测试策略，它们针对的测试对象、测试工具和测试目的各不相同。选择适当的自动化测试方法取决于应用的类型、测试目标和资源。理解这些方法的区别和适用场景有助于更有效地规划和执行自动化测试策略。每种自动化测试方法都有其独特的优势和应用场景，选择合适的自动化测试策略需要根据项目的具体需求、资源和技术栈来决定。
接口/Web自动化测试如何做？框架如何搭建封装？
测试人，要卷就卷成最强的！
08-01 518
自动化测试怎么做的？UI和接口相结合，通常以接口为主，UI为辅。原因：接口执行效率高，可测试的代码覆盖率高，维护成本低，属于低成本，高收益。UI自动化执行效率低，并且容易受其他原因（电脑卡顿，浏览器卡顿，网速等）影响导致脚本执行失败，覆盖率难以提升，维护成本较高，属于投入较高，收益较低的类型。但它的优点就是可以完全模拟用户行为，更贴近真实。所以需要两者都做。接口测试怎么做的？前置条件：接口测试需要项目需求 , 接口文档/接口规范；
功能测试、UI自动化测试（web自动化测试）、接口自动化测试
weixin_36723038的博客
07-28 1493
简单介绍功能测试、UI测试、接口测试的区别和联系
【自动化测试】如何做好python接口/web自动化测试？看看8年测试老鸟的总结......
大佬云集技术答疑交流群：743262921(进群暗号:222)
11-11 896
接口自动化测试（业务逻辑层）：主要检查验证模块间的调用返回以及不同系统、服务间的数据交换，常见的接口测试工具有postman、jmeter、loadrunner等（现主要使用 python+requests+pytest+Git+Jenkins+…）UI自动化测试（GUI界面层）
chromedriver.exe-118.0.5993.3、win32/64位、爬虫、自动化测试、Web自动化
10-02
对应chrome版本：118.0.5993.3 系统环境：win32/64位 内容概述：ChromeDriver.exe是一款实用的chrome浏览器驱动工具，能够用于自动化测试、网络爬虫和操作浏览器，其主要作用是模拟浏览器操作，在使用时需要与对应的chrome浏览器版本匹配，否则无法驱动。 应用场景：网络爬虫、自动化测试、web自动化，例如与Selenium等自动化测试框架一起使用，提供更高级的浏览器自动化，实现自动输入、点击、发送等操作。
基于java+Selenium实现的Web和接口自动化测试工具
10-09
个人觉得这个工具比任何自动化测试框架都好使，使用关键字和数据双驱动，不需要写一行代码，无需维护脚本，只需要维护用例数据。Web元素只需要在Chrome中复制xPath即可，定位非常高效。 工具安全无木马，目的只为自动化测试交流和研究。个人觉得还可以啊，有兴趣的同学可以体验一下，如果觉得还行，就帮忙顶一下吧。使用遇到问题，可以在网站上面发帖，我会第一时间回复。
〖Python WEB 自动化测试实战篇①〗- WEB自动化的介绍与概述
易编橙 · 终身成长社群，相遇已是上上签！
06-04 4万+
在上一篇章就软件自动化测试当中最简单也是最常用接口自动化测试进行了一个比较完整性的实战。可是当我们投入到实际工作应用中就会发现，虽然接口测试很有效也很容易推广开来，但是很多时候真正需要测试验证的不仅仅是接口测试的返回，还包括前端页面的重现。所以近下来的学习内容就将进入到 [WEB 自动化（即 WEB 端 UI 自动化）]。.........
8年测试工程师 —— 基于爬虫的自动化测试经验分享
03-17 1086
之前很难区分自动化测试和测试自动化之间的区别，一直傻傻分不清楚，最近在工作实践中，突然对测试自动化有了深入的理解。 个人理解：自动化测试侧重于测试，是一种测试技术。测试自动化侧重于自动化，是一种测试工作方式或者思路。 背景 公司基础架构组提供了一个监控大盘，里面对以业务线、服务、节点维度对节点进行了分类，对于单节点监控信息包括不限于：CPU，内存，JVM、Tomcat、QPS、RT、网络等等，更细节的监控指标这里就不多说了。 通常我们在做性能测试的时候，基本都是事先知晓被测接口和服务的调用.
〖Python接口自动化测试实战篇④〗- 接口自动化测试详解
热门推荐
易编橙 · 终身成长社群，相遇已是上上签！
05-26 5万+
[接口测试] 是相对来说和我们的功能测试 [最为接近的一种自动化测试手段] ，所以我们首先来学习接口测试的内容。 实现接口的开发与接口的测试，在我们的思维上、想法上、面向的态度上都是不一样的。所以大家要有一个思维上的转换，要认识了解一下 接口测试到底是做什么的、它的功能、意义在哪里。...
Web自动化_APP自动化_接口自动化_测试框架汇总
yfx000的专栏
11-12 2301
luckyframe 码云地址https://gitee.com/seagull1985/LuckyFrameWeb 官网 http://www.luckyframe.cn/ LuckyFrame测试平台是一款由Seagull发起的免费开源测试平台\测试工具，最大的特点是全纬度覆盖了接口自动化、WEB UI自动化、APP自动化，并且支持分布式测试，测试关键字驱动也很大程度上解决了测试同学代码基础弱的问题。同时也集成了质量管理相关的一些功能，解决QA的日常工作中，项目过程数据的收集问题，并能展示一些简单.
web自动化测试
weixin_53327721的博客
06-15 1318
一、认识web自动化测试 1.什么是自动化测试？ 自动化测试的概念: 软件自动化测试就是通过测试工具或者其他手段，按照测试人员的预定计划对软件产品进行自动化测试，他是软件测试的一个重要组成部分，能够完成许多手工测试无法完成或者难以实现的测试工作，正确合理的实施自动化测试，能够快速，全面的对软件进行测试，从而提高软件质量，节省经费，缩短软件的发布周期。 2…为什么进行自动化测试？ 自动化测试的好处: 1)缩短测试周期 计算机行业更新迭代快速，大量频繁的回归测试消耗时间，自动化测试能够将重复的实行交给计算机去
移动app、接口、web自动化测试区别
piooix的博客
03-31 9699
先说说WEB的UI自动化测试：   很多人在说自动化测试的时候，基本上现在指的是WEB的UI自动化测试，但其实这是不对的，自动化测试包含了很多开发的技术，不只是界面上的自动化测试。WEB的UI自动化测试只是其中的一种，但它的工具确实最多的，有WINRUNNER\QTP(UFT)\TESTCOMPLETE\SILKTEST\ROBOT\SELENIUM\RF\WAITER等等，。而对于没有开发基
浅谈web的ui自动化和接口自动化适用范围
wf525289834的专栏
03-01 8893
类似这种，系统多是添加、查询、编辑的，这种系统就不太适合做ui自动化，因为要写又臭又长的xpath。这种系统核心是数据，其后台实现其实就是各种查询接口。关键是数据正确。尤其是针对金融领域相关的系统，就应该用接口自动化，而非ui自动化。总而言之，与数据强相关，经常要查数据库的，就非常适合接口自动化。...
python网络爬虫与自动化
07-25
Python网络爬虫与自动化是指使用Python编写的程序来自动化浏览网络并获取或更新网站的内容和检索方式。网络爬虫可以自动采集所有能够访问到的页面内容，以便程序进行下一步的处理。Python语言在爬虫领域非常重要，因为它简单易学，容易上手。\[1\] 爬虫架构是爬虫开发中一个重要的概念，其中Scrapy是一个非常流行的Python爬虫框架。Scrapy是一个快速、高层次的爬虫框架，用于抓取web站点并从页面中提取结构化的数据。它可以用于数据挖掘、监测和自动化测试。Scrapy的吸引力在于它是一个框架，任何人都可以根据需求方便地进行修改。它还提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等。\[3\] 在爬虫开发中，常见的任务包括页面下载与解析、URL去重、URL相似性算法、并发操作和数据存储等。通过Python编写的爬虫程序可以实现这些任务，并且可以根据具体需求进行定制和扩展。\[2\] 总之，Python网络爬虫与自动化是一种强大的工具，可以帮助我们自动化获取和处理网络上的数据。它在数据挖掘、监测和自动化测试等领域有着广泛的应用。 #### 引用[.reference_title] - *1* [Python爬虫自动化从入门到精通](https://blog.csdn.net/m0_67021058/article/details/129388869)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [（2.3.2）Java爬虫](https://blog.csdn.net/fei20121106/article/details/44468647)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我和程序有一个能跑就行

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值