字节开源 Midscene.js：AI 驱动的自动化测试

最新推荐文章于 2025-04-08 09:30:20 发布
最新推荐文章于 2025-04-08 09:30:20 发布
阅读量1.2k 收藏 1
点赞数 7
分类专栏： 三花AI 文章标签： 人工智能 自动化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51674085/article/details/144711214
版权

字节的 web-infra 团队开源的 Midscene.js 采用了多模态大语言模型，能够直观地“理解”你的用户界面并执行必要的操作，轻松完成 e2e 测试。

官方还提供了一个浏览器插件，可以快速体验其核心功能。通过这个插件，用户可以用自然语言与任意网页联动，调用交互、提取、断言三种接口，无需搭建代码项目，极大地简化了测试流程。

人工智能丨Midscene：让UI自动化测试变得更简单
ceshiren_com的博客
01-26 1343
Midscene是一个基于多模态大语言模型的UI自动化测试框架。它允许测试人员使用自然语言描述测试步骤，从而大大降低了编写测试脚本的门槛。无论是定位页面元素、执行交互操作还是验证页面状态，Midscene都能通过理解自然语言指令来自动完成这些任务。Midscene作为一款基于自然语言处理的UI自动化测试框架，为测试人员提供了一种更加简单和直观的方式来编写和执行测试用例。通过自然语言交互，Midscene大大降低了编写测试脚本的门槛，提高了测试效率，并使得测试结果更加易于理解和展示。
6年自动化测试经验，终于进字节跳动了，年薪30w其实也并非遥不可及_字节跳动 自动化测试
2401_84558870的博客
05-15 757
不得已开始思考怎么去改变现状，当时最简单的想法是挤出时间去学习各种测试技术，然后需要掌握一些常用测试工具来辅助测试，提高自己的价值，也就是核心竞争力。我觉得外面的大公司有更多机会，现在自动化已经流行而且越来越普及，我想要突破自己的测试技术瓶颈，专职做自动化，偶然机会下朋友推荐我去字节做测试开发，负责开发公司定制化的测试质量平台。我的自动化测试之路，一路走来都离不每个阶段的计划，因为自己喜欢规划和总结，所以，我和朋友花了一段时间整理编写了下面的《自动化测试工程师发展规划路线》，希望会给你带来帮助和方向。
Midscene.js介绍和使用
m0_54119099的博客
02-19 5116
本篇博客主要对 Midscene 作了介绍，也给出了本人在使用 Midscene 过程中遇到的问题及摸索到的解决方案。
Midscene.js - AI驱动，轻松实现UI自动化
朱雀随云记的博客
02-24 2020
截至目前，自然语言驱动的UI自动化测试技术已实现‌效率、协作与适应性三重突破‌：‌技术层面‌：多模态AI模型（视觉+语义）与边缘计算结合，精准解析动态交互（如AR/VR手势、全球化多语言布局），实现复杂场景覆盖。‌行业价值‌：在金融合规、医疗审计等领域自动化验证高危流程，误报率降低60%，测试用例生成效率提升12倍。‌协作模式‌：非技术人员可通过自然语言直接编写脚本，跨职能团队共享“业务语言”降低沟通成本，AI自愈机制使脚本维护成本减少70%。
Midscene.js 安装与配置指南
最新发布
gitblog_00781的博客
04-08 397
Midscene.js 安装与配置指南 midscene Let AI be your browser operator. 项目地址: https://gitcode.com/gh_mirrors/mid/midscene ...
Midscene.js Chrome 插件使用
FQY107的博客
03-17 743
用ai实现UI自动化已成为新的趋势，与传统的UI自动化对比，Midscene.js 是一个创新的、面向开发者的 UI 自动化解决方案，并通过人工智能技术简化自动化脚本的编写与维护。它提供了三种核心方法——交互（.ai, .aiAction）、提取（.aiQuery）和断言（.aiAssert），使开发者能够以自然语言描述步骤并执行复杂的UI操作。它不仅支持通用的大规模语言模型（LLM），还兼容开源模型 UI-TARS，为用户提供了更多的选择。
Midscene.js：AI 驱动的 UI 自动化测试框架，支持自然语言交互，生成可视化报告
士多啤梨先生の博客
12-26 2235
Midscene.js 是一款基于 AI 技术的 UI 自动化测试框架，通过自然语言交互简化测试流程，支持动作执行、数据查询和页面断言，提供可视化报告，适用于多种应用场景。
Midscene.js：AI重塑UI自动化测试
zhangkexin_z的博客
12-22 2233
Midscene.js以其独特的AI加持和直观的自然语言交互方式，为UI自动化测试带来了前所未有的愉悦体验。它不仅降低了测试门槛，提升了测试效率，进一步增强了测试的可靠性和可维护性。Midscene.js也面临着一些挑战和限制。例如，对于某些复杂的交互场景和数据结构，AI模型可能无法完全准确地理解和执行。此外，随着项目规模的扩大和需求的不断变化，如何保持测试的稳定性和可维护性仍然是一个值得深入探讨的问题。
Midscene.js测试工具：打破项目UI自动化编写和维护困扰
我的博客
02-07 2494
同时我邀请你进入我们的软件测试学习交流平台，大家可以一起探讨交流软件测试，共同学习软件测试技术、面试等软件测试方方面面，了解测试行业的最新趋势，助你快速进阶Python自动化测试/测试开发，稳住当前职位同时走向高薪之路。说起UI自动化测试框架，大家脑海中最先想到的是Playwright、Cypress等这样成熟的产品，但是要将自动化脚本做到稳定并且持续维护的团队却是屈指可数的，因为经常会面临选择器繁琐复杂、与 HTML 结构的耦合度高，以及界面难以进行断言等问题。
基于AI人工智能UI自动化测试工具：Midscene
ufrontend的博客
02-25 1869
随着互联网技术的飞速发展，Web应用越来越普及，前端页面也越来越复杂。为了确保产品质量，UI自动化测试成为了开发过程中不可或缺的一环。然而，传统的UI自动化测试工具往往存在学习成本高、维护困难等问题。特别是UI 自动化脚本里往往到处都是选择器，比如 #ids、data-test、.selectors。在需要重构的时候，这可能会让人感到非常头疼。今天，我们将为您推荐一款基于AI人工智能的开源UI自动化测试工具——Midscene，让您轻松应对UI自动化测试挑战。是一款由。
Midscene.js 使用教程
gitblog_00820的博客
04-08 773
Midscene.js 使用教程 midscene Let AI be your browser operator. 项目地址: https://gitcode.com/gh_mirrors/mid/midscene ...
Midscene.js实现UI自动化
weixin_45419608的博客
03-27 277
1.可以网上找安装包，解压后，在谷歌浏览器插件管理中，打开开发者模式，重启谷歌浏览器，将解压后的文件拖动到谷歌插件即可安装2.安装成功后可打开插件，配置环境:如下配置的是千问的大模型key，如想配置其它模型可根据官网配置官方文档：https://midscenejs.com/zh/choose-a-model.html。
Midscene.js：AI 在前端测试领域的应用
bytedanceospo的博客
03-20 1143
Midscene.js 是由字节跳动 Web Infra 团队全新开源的 UI 自动化工具。通过引入多模态 AI 推理能力，Midscene.js 将帮助开发者打破传统 UI 自动化难于编写和维护的困境。
MIDI.js: JavaScript 中的 MIDI 解析和播放库
gitblog_00058的博客
03-17 893
MIDI.js - 为网页添加MIDI支持的JavaScript库 MIDI.js:musical_keyboard: Making life easy to create a MIDI-app on the web. Includes a library to program synesthesia into your app for memory recognition or for cre...
Midscene.js：重新定义UI自动化的新时代工具
我码玄黄的博客
01-24 3119
Midscene.js是创新的UI自动化解决方案，通过AI简化脚本编写与维护，提供交互、提取、断言三种方法，支持LLM和UI-TARS模型，可从Chrome商店下载或GitHub获取源码，使用需配置OPENAI_API_KEY等。
Midscene.js自然语言驱动的网页自动化全指南
hello.reader
03-23 1497
## 关键要点 - **Midscene.js** 通过自然语言和 AI 简化网页自动化，适合开发者与非开发者。 - 支持 GPT-4o、UI-TARS、Qwen2.5-VL 等模型，提供数据提取、断言、可视化调试等功能。 - 适用于社交媒体管理、数据收集、测试验证等场景，当前版本 0.12.7，开源（MIT 许可）。
带你全面了解自动化测试框架—从理论到工具
测试萌萌
11-14 1720
另外，欢迎加入软件测试技术交流群 313782132 ~进群可领取免费软件测试资料以及群内测试大牛解惑！ 测试工程师职业发展路线图 功能测试 — 接口测试 — 自动化测试 — 测试开发 — 测试架构师 加油吧，测试人！如果你需要提升规划，那就行动吧，在路上总比在起点观望的要好。事必有法，然后有成。 资源不错就给个推荐吧~ ...
爆火！AI 助力 UI 自动化测试，Midscene.js 究竟有多强
02-10 1667
在当今软件开发的快速发展进程中，UI自动化测试已成为保障软件质量、提升开发效率的关键环节。随着软件系统的日益复杂和用户需求的不断增长，传统的手动测试方式已难以满足现代软件开发的节奏和质量要求。
midscene 浏览器插件
03-18
<think>好的，我现在需要帮助用户找到Midscene相关的浏览器插件的下载或使用说明。根据用户提供的引用内容，特别是引用[1]提到官方提供了一个浏览器插件，可以快速体验核心功能。用户的需求很明确，就是寻找这个插件的下载和使用方法。 首先，我应该确认用户提到的Midscene.js是否有官方网站。通常，开源项目会在GitHub或者其官网上提供下载链接。引用[1]提到是字节开源的，所以可能需要查看字节的开源平台或者GitHub仓库。用户可能没有提供具体链接，因此需要引导他们访问官方渠道。 接下来，用户可能需要安装步骤。根据引用[2]，Chrome插件的结构包括manifest.json、content.js等文件，但用户不需要自己搭建代码项目，所以插件应该可以直接从Chrome网上应用店安装。不过，有时候开源项目的插件可能未上架，需要手动加载。这时候需要说明如何通过开发者模式加载插件。 另外，引用[3]提到调试配置和避免AI幻觉的方法，但用户当前的问题是关于插件的下载和使用，这部分可能暂时不需要深入，除非使用说明中有相关注意事项需要提及。 用户可能遇到的困难包括找不到正确的下载链接，或者不清楚如何安装未上架的插件。因此，回答中需要分步骤说明，建议先访问官方资源，如GitHub，然后提供手动安装的方法。同时，提醒用户注意安全，只从可信来源下载插件。 需要确保回答结构清晰，逐步引导用户操作。可能的问题包括插件兼容性、安装后的使用步骤，所以应涵盖这些方面。如果官方有详细文档，应推荐用户查阅。此外，如果用户无法找到插件，可能需要联系支持或社区寻求帮助。 总结回答的步骤：1. 访问官方资源获取插件；2. 下载并安装到浏览器；3. 基本使用说明；4. 注意事项。同时生成相关问题，帮助用户进一步了解插件的功能和使用场景。</think>### Midscene浏览器插件下载及使用说明 根据官方信息，Midscene.js 提供了浏览器插件以简化AI驱动的自动化测试流程。以下是具体操作步骤： 1. **获取插件** - 访问Midscene.js的GitHub仓库或字节跳动开源平台（如未公开链接，建议通过官网入口查找）[^1] - 在项目文档中查找「浏览器插件」或「Chrome Extension」的下载链接 - 注意：目前暂未在Chrome应用商店上架，可能需要手动加载 2. **安装步骤**（以Chrome为例） ```markdown a. 下载插件压缩包后解压 b. 访问`chrome://extensions/` c. 开启右上角「开发者模式」 d. 点击「加载已解压的扩展程序」选择插件目录 ``` 安装成功后会在扩展栏显示Midscene图标[^2] 3. **核心功能使用** - **自然语言交互**：点击插件图标后，在输入框用自然语言描述操作，例如： ```python "提取当前页面所有价格大于$100的商品名称" ``` - **三大接口调用**： - 交互：`点击登录按钮` - 提取：`获取用户头像URL` - 断言：`验证页面包含「支付成功」提示` - 支持自动生成测试用例并导出[^3] 4. **调试建议** - 在高准确性场景结合`.aiQuery`+JavaScript断言 - 通过开发者工具查看执行日志 - 可设置执行速度（快速/标准/严格模式） **注意事项**：该插件需要现代浏览器支持（推荐Chrome 90+），首次使用需授权页面访问权限。若遇到元素定位问题，建议使用`.aiQuery`二次确认[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值