- 博客(391)
- 资源 (23)
- 收藏
- 关注
RSS订阅
原创 用例自动生成工具：Tcases实践指南
..通常，被测试的系统单元具有一个或多个操作或“函数”，因此系统输入定义包含每个函数的函数定义对象。对于我们的例子，我们将为一个名为“Examples”的系统构建一个输入定义，该系统只有一个“find”函数。显然，“系统”或“功能”的定义完全取决于你所测试的内容。如果你的“系统”是一个Java类，那么你的“功能”可能是它的方法。如果你的“系统”是一个应用程序，那么你的“功能”可能是用例。如果你的“系统”是一个网站，那么你的“功能”可能是页面。无论如何，输入建模的过程完全相同。
2024-05-11 07:15:00
2487
原创 基于AI的自动化测试工具推荐
软件开发是一项创造性的工作，但其中也包含着许多乏味的任务。其中最乏味的莫过于编写“单元测试”了，开发写测试代码用于验证软件组件是否按预期工作。单元测试有助于开发人员尽早发现缺陷并确保代码能够得到维护。理想的情况是，编写程序的开发人员在编写代码的同时编写单元测试。但是编写单元测试是软件开发中的繁琐工作，会占用开发人员大量时间。更糟糕的是，开发人员在手动编写复杂代码库的单元测试时可能会犯错误。因此，很多软件缺乏足够的单元测试，这使得代码难以维护。如果没有单元测试，如果出现问题，找到问题的根源就如同大海捞针。
2024-09-19 08:50:04
1154
原创 当我们修复测试用例时，到底是修复的什么？
它仍然提供了足够的价值，以至于你不想将其删除，但你也不太清楚这个测试究竟在测试什么，以及它与其他相关测试如何共同提供对被测试对象的充分覆盖。也许你还会review和其相关的测试，并对它们也进行更改，你甚至可能还会添加一些额外的测试。你查看测试运行器报告的实际结果，心想“是的，看起来是对的”，然后更新测试，以实际结果为依据进行断言。然后，要么是在你的本地机器上，要么是在pipeline中，你运行了所有的测试，但其中一些却失败了。这样，当测试应该测试的内容出现错误时，你不仅要修复代码测试，还要修复测试本身。
2024-09-19 08:49:24
521
原创 阿里微服务质量保障系列：SRE知多少
站点可靠性工程 (SRE) 是指使用软件工具自动执行 IT 基础架构任务（如系统管理和应用程序监控）的做法。组织使用 SRE 来确保其软件应用程序在开发团队频繁更新时保持可靠。SRE 特别提高了可扩展软件系统的可靠性，因为使用软件管理大型系统比手动管理数百台计算机更具可持续性。
2024-09-01 15:21:46
363
原创 代码之外的软技能
毕竟，报告中的缺陷就像房间里的蚊子——你知道它在那里，但如果你无法准确指出它的位置，你就永远无法安睡！对于测试人员来说，这意味着能够以一种不会让开发人员想要把自己关在房间里，再也不出来的方式来传达复杂的问题，并且能够说服他们认识到缺陷的重要性。作为测试人员，你经常会遇到意想不到的情况——比如发现一个像房间里的蚊子一样的 bug：令人恼火、难以捉摸，只有在最糟糕的时候才能注意到。在越来越全球化的职场中，能够在不同语言之间切换的能力有助于弥合文化差异、增强团队合作，并改善国际团队之间的整体沟通。
2024-08-24 07:33:16
467
原创 有效的测试
所寫即所思｜一个阿里质量人对测试的所感所悟。公众号当我们想到自动化测试时，许多积极的方面可能会浮现在脑海中，比如缺陷检测，但实际上，良好的测试与良好设计同等重要，即通过可变代码来降低成本。可变性需要三个相关能力：重构灵活的设计有效的测试但是，自动化测试是如何实现可变性的呢？没有测试，任何更改都可能是一个潜在的缺陷。自动化测试提供了一张安全网，使得开发者在修改或重构代码时更有信心。
2024-08-04 00:33:02
830
原创 Postman Flows: 自动化重复执行任务
重复性是自动化的核心，Postman Flow支持重复性的任务执行。例如垃圾邮件删除，我们经常需要从多个系统中删除电子邮件。登录、搜索并从多个位置删除电子邮件可能非常耗时。本文介绍如何创建一个Flow，每次运行该Flow时，它都会删除一封电子邮件。同样，我们将使用Stripe.com、Brevo.com以及一个作为假设的内部系统的Postman mock服务器。
2024-08-03 07:30:00
355
原创 阿里微服务质量保障系列：异步通信模式以及测试分析
所寫即所思｜一个阿里质量人对测试的所感所悟。最常见的方式就是异步消息通信。使用消息机制时，服务之间的通信采用异步交换消息的方式完成。基于消息机制的应 用程序通常使用消息代理，它充当服务之间的中介。另一种选择是使用无代理架构，通过直 接向服务发送消息来执行服务请求。服务客户端通过向服务发送消息来发出请求。如果希望 服务实例回复，服务将通过向客户端发送单独的消息的方式来实现。由于通信是异步的，因 此客户端不会堵塞和等待回复。相反 ，客户端都假定回复不会马上就收到。
2024-08-02 08:44:56
63
原创 TOP级AI驱动的单元测试工具推荐
理想的情况是，编写程序的开发人员在编写代码的同时编写单元测试。GitHub Copilot 是由 GitHub、OpenAI 和微软共同开发的基于生成式AI模型的工具，它基于所有出现在公共存储库中的自然语言进行训练。单元测试（Unit Testing）是软件开发的一种测试方法，它主要针对程序中的最小可测试单元——通常是函数、类的方法或模块等进行检查和验证。隔离性：每个单元测试都是独立的，测试时会将被测试单元与其他代码隔离，以确保只测试该单元的功能，不受外部因素影响。还需要手动完成生成的测试用例。
2024-08-02 08:43:39
436
原创 强大的接口测试可视化工具：Postman Flows
Postman Flows是一种接口测试可视化工具，可以使用流的形式在Postman工作台将请求接口、数据处理和创建实际流程整合到一起。如下图所示Postman Flows是以API为中心的可视化应用程序开发界面。它提供了一个无限的画布用于编排和串连API，数据可视化来显示你的流的最终输出。
2024-08-02 08:41:30
470
原创 构建模型思维
所寫即所思｜一个阿里质量人对测试的所感所悟。很久以前，有一个测试经理并不相信敏捷测试。当团队谈论减少资源浪费、项目冲刺和项目小规模交付时，她会礼貌地点头示意表示赞同。但转身之后，她会按照自己的原有的方式去做事情。对她来说这种方式才是有效的。而她的项目通常都能按时完成，交付质量也比较高，而且发布过程也比较“平稳”。直到有一天，她遇到了瓶颈。负责的是一个“简单”的迁移项目，目标也很简单——“让它像以前一样运行”。直接迁移，轻而易举。然而，这是一个新组建的团队，应用程序逻辑可能有数百万种可能的组合。
2024-07-20 20:44:25
719
原创 解锁Swift Testing测试框架
与之前的版本相比，对单元测试的定义也有所改变。你不再需要在函数前缀上使用` test `，而是可以将` @Test `函数附加到任何你想让其成为测试的函数上。
2024-07-09 07:30:00
1413
2原创 关于手工测试的思考
（这里的“产品”可能是正在运行的软件，或者是它的一部分。如果我们相信这种幻想，就不必去寻找那些深层的、隐藏的、罕见的、微妙的、间歇性的问题；与项目中的其他人不同，测试员专注于揭示尚未解决的问题，或是我们提出的解决方案所引入的问题。在测试的早期阶段，特别是放松或暂停我们对发现问题的关注，更多地关注建立我们对产品的心理模型可能非常重要。测试必须被视为一种社会（且社会上有挑战性）、认知、风险聚焦、批判性（在多个意义上）、分析性、调查性、熟练、技术性、探索性、体验性、实验性、科学性、启示性、光荣的手工艺。
2024-07-03 07:15:00
1094
原创 万字解读LLM大模型评估
我在之前的一篇文章中对摘要度量进行了深入的讨论，因此我强烈建议大家阅读一下。与原文内容完全一致。包含了原文中的重要信息。使用QAG，我们可以计算出事实对齐度和包含度评分，从而计算出最终的摘要评分。在DeepEval中，我们将两个中间评分中的最小值作为最终的摘要评分。""""""坦白地说，我对“摘要度量”这一概念的阐述还不够充分，因为我不想让这篇文章变得更长。但是对于那些对此感兴趣的人，我强烈建议阅读这篇文章，以了解更多关于使用QAG构建自己的摘要度量方法的信息。
2024-06-19 07:15:00
972
原创 出BUG了。。。
事务的隔离级别决定了一个事务可以看到其他事务修改数据的程度，从最低级的读未提交（Read Uncommitted）到最高的串行化（Serializable），隔离级别越高，并发性能越低，但数据一致性越好。分布式事务：微服务架构下，原子服务（拥有自己的部署容器和数据存储容器）部署在不同的服务器上，服务间调用就会出现跨越多个数据库或服务的事务，需要特殊的协调机制（如两阶段提交）来确保所有参与方的一致性。最近出了一个bug，比较神奇的是，竟然一年前的变更引起的。反之，则直接return，不做什么操作。
2024-06-17 07:15:00
63
原创 聊聊大火的AI agent
AI Agent（智能体）是一种能够感知环境、进行决策和执行动作的智能实体。不同于传统的人工智能，AI Agent 具备通过独立思考、调用工具去逐步完成给定目标的能力。AI Agent 和大模型的区别在于，大模型与人类之间的交互是基于prompt 实现的，用户prompt 是否清晰明确会影响大模型回答的效果。而AI Agent的工作仅需给定一个目标，它就能够针对目标独立思考并做出行动。
2024-06-14 09:17:08
890
原创 集成测试怎么做？
测试是复杂的，但是通过遵循一些原则并妥善划分步骤，可以实现有效的测试。首先，不能为了测试代码而测试，应该关注代码预期。然后，遵循测试驱动开发的三条规则，确保你为公司编写了真正有效的代码，并且可以跟踪应用程序中哪些内容是重要的。最后，为了编写每个场景，你需要遵循AAA框架，确保没有遗漏（Arrange）、（Act）和（Assert）这三个步骤中的任何一个。- END -下方扫码关注 软件质量保障，与质量君一起学习成长、共同进步，做一个职场最贵Tester！关注公众号, 后台回复【测开。
2024-06-05 07:15:00
803
原创 黄仁勋：打破摩尔定律，机器人时代来了
一个价值十亿美元的数据中心，在添加了价值5亿美元的GPU后，瞬间转变为一个强大的人工智能工厂。在这个飞速发展的时代，我们将继续努力提升产品性能，降低培训和推理的成本，同时不断扩展人工智能的能力，使每一家企业都能从中受益。重要的不是平均吞吐量，而是最后一个到达的数据，因为如果你正在从所有人那里收集部分结果，并且我试图接收你所有的部分结果，如果最后一个数据包晚到了，那么整个操作就会延迟。
2024-06-04 08:35:01
1624
原创 APP中断测试知多少
所寫即所思｜一个阿里质量人对测试的所感所悟。中断测试有助于移动测试人员识别与系统或用户行为相关的潜在风险，以便在发生流量干扰时能够识别出可能导致意想不到或不期望结果的问题。让我们深入探讨中断测试的细节及其手动或程序化实现方式。本文还介绍了用于自动化测试过程、加快测试执行速度并向用户提供高质量应用的移动工具，例如 Appium WebDriver。
2024-06-03 07:00:00
958
原创 如果创办Google
本文是一篇演讲稿，来自于《黑客与画家》一书的作者保罗*格雷厄姆，被称为硅谷创业之父。这是他为14至15岁的孩子们做的一次演讲，内容是关于如果他们将来想创立一家创业公司，现在应该做些什么。很多学校认为应该向学生们传授一些有关创业的知识。但以下是作者认为应当告诉学生的建议。全文如下：你们中的大多数人可能认为，当将来进入社会后，最终都得找一份工作。但事实并非如此，今天我要告诉你们一个方法，可以避免将来不得不去找工作。这个方法就是创办一家公司。当然这并不是“逃避工作”的方法，因为如果你自己创业，你会比普通上班族工作
2024-05-28 07:30:00
413
原创 聊聊变异测试
正如你所看到的，尽管为达到代码覆盖率而构建的测试集会通过代码执行类似的路径，但变异测试指标允许对测试应执行的验证进行更具体的描述。这是杀死的变异体与变异体总数的比率。在多数软件测试方法中，很难预判能否在测试过程中发现缺陷，往往直到这些缺陷在后续的测试环节被发现，甚至是更糟的情况下，在生产环境中出现时才会被注意到。随着工程师越来越多地采用更自动化的软件验证方法，以及在不断缩短的发布周期中对更高品质的软件输出的需求日益增长，变异测试帮助我们退一步评估，我们是否真的应该对我们的测试充满如此信心。
2024-05-27 07:00:00
539
原创 测试三问
在缺乏有效的测试用例的情况下，你可能无法为团队提供有价值的质量反馈，而这正是QA人员所期望的得到的。因此，测试不仅对于深入了解产品至关重要，而且对于确保交付的软件符合业务方的期望至关重要。作为一名QA，如果不了解用户的痛点，就无法确保这些变更是否真正为用户解决了问题。通过明确受影响的模块，你可以设计出全面覆盖这些变更的测试用例。我会向产品负责人询问有关需求变更如何为我们的用户解决问题，这让我了解了用户所面临的问题。我的测试方法总是向参与项目过程的不同人提问，这让我更深入地了解变更的背景知识。
2024-05-23 07:00:00
308
原创 漫谈AI测试
毫无疑问，未来属于人工智能。它已经进入了我们的日常生活，并被世界各地的大公司所使用。人工智能的适用性似乎无穷无尽。然而，仍然存在许多疑虑和担忧。例如，在自动驾驶汽车的情况下：事故责任、不稳定的物体识别以及与不可预测的人类交通参与者的复杂互动阻碍了它的广泛推广。人工智能的一些可能令人恐惧的影响已经显现出来。人工智能算法可以制造和扩大偏差。例如，在缅甸的种族清洗中，数以万计的罗兴亚人被杀害，100万人流离失所。
2024-05-22 07:00:00
1496
原创 Change-Driven Testing：变更驱动测试
当下，随着产品的迭代速度越来越快，测试人员必须在更短的时间内测试更多的软件。这使得每个代码变更都执行整个测试集变得不可行。而通过手工测试覆盖所有变更更变得不切实际。为了应对这一挑战，我们提出了基于变更驱动的测试(Change-Driven Testing)的方法论。变更驱动测试使用测试影响分析来自动查找给定代码变更的相关测试集，大大增加了早期捕获缺陷的概率。此外，基于变更驱动测试使用测试缺口分析来自动识别测试缺口（即缺乏测试用例覆盖的代码变更）。这使我们能够有意识地决定将我们有限测试资源用于提高我们的测试有
2024-05-20 06:45:00
745
原创 Testcontainers：一款隔离测试数据的测试工具
Testcontainers 是一个Python库，它利用 Docker 引擎创建临时容器，这些容器可以运行数据库实例、Selenium 浏览器或其他任何在测试期间应用程序可能需要交互的服务。它在 Docker 容器中提供轻量级的数据库实例。这种方法允许用户创建一个隔离的测试环境，这对于实现本地测试至关重要。每个测试都与一个全新的数据库实例交互，确保测试隔离。使用 Testcontainers 的另一个关键好处是它能够对数据库进行自动化设置和清理。
2024-05-10 07:15:00
1682
原创 对构建高质量软件的思考
持有固定型思维模式的人认为自己的能力（或所做的事情）是固定不变的、与生俱来的。同样，DevOps文化的兴起也催生了专注于“平台工程”或“开发者体验”的中央团队，他们构建工具和自动化基础架构，并在必要时提供专业知识，使开发团队能够更轻松地运行基于云的服务和应用程序。如果数据表明拥有更多软件测试和运维方面技能的开发者是有益的，而你的回答却是“这不是我的工作”，那么你的成长将受到限制，而且你的职业生涯也会受到影响。有时候，开发人员不想学习如何测试或了解服务交付，因为他们认为自己高人一等，这是“别人的工作”。
2024-05-05 07:00:00
816
原创 大话持续测试
持续测试旨在软件开发的每个阶段持续确保产品的质量，它是持续集成和持续部署（CI/CD）过程的一个组成部分，采用持续测试方法论可以更早地发现问题，缩短开发者的反馈时间，提高产品质量的可见性，并加快产品上市速度。像瀑布模型这样的传统开发模型中，开发人员被分解成负责特定任务的不同团队。这导致了一个团队完成任务后将软件移交给另一组。因为每个团队都有足够的时间专注于自己的任务，而不用担心项目的其他方面，所以质量得到了保证。随着对更快开发速度的需求不断增加，这种传统开发模式就出现了问题。
2024-05-04 07:30:00
947
原创 Python栈最佳自动化测试框架
1. pytest-xdist：支持分布式测试，可以在多个机器上并行运行测试用例。2. pytest-cov：可以生成代码覆盖报告，帮助开发者了解代码的覆盖情况。3. pytest-flake8：可以集成Flake8代码风格检查器，在测试运行时检查代码风格问题。4. pytest-mock：可以模拟对象，方便测试时隔离对象的行为。5. pytest-rerunfailures：可以自动重新运行失败的测试用例，节省开发者的时间。
2024-04-28 07:15:00
1032
原创 如何做好测试分析？
对于产品测试分析，作为系统的高级分析，在分解过程中确定对象的动作就足够了，但是对于功能测试分析，我们需要进一步定义被测对象的参数。这是一个单向矩阵，只使用了一半的矩阵，其中绿色的单元格突出了项目之间的关系，额外的列或注释可以用来记录每个依赖项的细节。好的，我们已经完成了一阶段工作，现在已经为下一阶段的测试分析打下了坚实的基础。开始测试更重要的功能，这样如果没有足够的时间测试所有功能，我们可以将不重要的功能排除在测试范围之外。
2024-04-22 07:15:00
744
原创 质量需要评估，而不是度量？
这样的评级是出了名的不可靠——如果我对一个产品感到生气，我不会给一个四星的评论，即使它基本上是好的——部分原因是我有偏见，部分原因是我希望我的观点产生影响。但我仍然没有度量质量的冲动。例如，如果我问你是否认为一个产品不好，而你确实认为它不好，但你知道你诚实而直接的回答会导致我取消你的项目，让你所有的朋友丢掉工作，你真的会告诉我铁一般的事实吗？比如说你的目标是100%的自动化，把一些简单的检查自动化，然后吹嘘你做了“成千上万的测试”，这样你不会发现很多bug，但是你会看起来很忙，并且有大量的代码可以展示。
2024-04-20 12:25:36
1121
原创 重复测试的原因
测试发现bug就像在雷区排雷。如果你只是在雷区中沿着同一条路走来走去，那么你不会发现很多地雷。实际上，这是一种很好的避雷方法。现代软件产品所代表的空间比雷区复杂得多，所以假设一些小数量的“路径”，比如说，一百条或一千条，当无休止地重复时，会发现每一个重要的bug，这甚至是一个更大的问题。尽管一组测试人员可以在几周内进行很多测试，但与该领域中产品可能发生的所有事情相比，这些测试仍然不是很多。雷区类比实际上是另一种说法，即。因此，雷区启发式是进行不同的测试，而不是重复相同的测试。但是我的意思是什么呢？
2024-04-20 12:22:43
612
原创 自动化测试中的SOLID原则
自动化测试在软件质量保障手段中愈显重要。但是随着自动化测试代码的规模和复杂性不断扩大，它也很容易出现测试代码重复、紧耦合等问题。而SOLID原则可以解决这一问题，作为自动化用例开发的指导原则。
2024-04-13 08:44:23
699
原创 阿里微服务质量保障系列：域内测试
进入阿里之前，我就职的公司所在部门的产品都是单体应用，例如第一家公司是做投顾平台的，第二家公司所在的团队是做在线教育的，负责的产品是内容生产平台。投顾平台这个产品是服务于券商投顾员工的，属于券商内部应用，用户量并不大。内容生产平台是为公司内部的QC团队使用的，用于录入K12资料内容，用户量其实也不算大。因此，用户量不大的情况，单体应用也是产品实现的最优解。而支付宝的用户量以亿级，单体架构已不适用，取而代之的是微服务架构，随着不同的团队结构也发生变化。下面用一张图可以展示出差异所在。
2024-04-06 12:58:17
765
原创 QA赖以生存的软技能
例如灵活性、团队合作、适应性在QA中是至关重要的，使工程师能够与团队成员和客户有效地协作。通过磨练这些技能，QA专业人员可以促进他们的职业发展，并在他们的领域产生真正的影响。从本质上讲，软技能使QA工程师能够有效地协作，有效地解决问题，并确保项目的整体成功。在质量保证工作中，软技能是至关重要的，因为它们使得技术专长得到更好的发挥。对于QA工程师来说，注意和处理任务中经常被忽视的小细节是很重要的。积极地注意别人在说什么，理解他们的观点和担心是至关重要的。反思以前的成功和失败，以提高未来的表现是非常有价值的。
2024-04-01 07:15:00
1099
原创 重新定义可观测性
对我来说，一个概念的良好定义应当具备这样的作用：当你拥有这样一个定义时，它不仅能够作为理解该概念的核心方式，而且还能引导你探索这一概念的方向，并指导你全面把握对该概念探索的所有含义。丢掉“尽管有分歧也要坚决执行”的说法，转向“提出有意义的问题，获取有用的答案，并根据所学付诸行动”。综上所述，我们探讨了控制理论中对可观测性的定义，认知系统工程中的可观测性定义，以及我提出的可观测性定义：可观测性是一个过程，通过这个过程，个体或组织能够发展出提出有意义的问题、获取有用答案并基于所学采取有效行动的能力。
2024-03-31 07:00:00
1001
原创 基于全链路的测试分析实践
链路可以分为业务链路和调用链路，调用链路主要指从请求发起方到结果返回所途径各种服务/中间件产生的路径，可以理解为单系统[域]下的某一功能模块，例如淘宝添加购物车->提交订单->支付这个场景，就包含收单域/支付域/商服域/会员域等，所以全链路必然包含[微服务架构下]多个系统[域]的相互交互，而全链路信息流要素则首先需要集合内需要各个域的测试owner基于单域被测服务分析得出场景因子，全链路的测试场景理论上是单域测试因子的笛卡尔积，但是鉴于全链路场景的成本比较高，因此在全链路场景分析上也要结合等价类分析方法。
2024-03-25 07:15:00
1825
原创 别再傻傻地写测试了，先了解下Property-Based Testing
此后，也启发各个语言的 Property-Based Testing framework，例如：Python 的 Hypothesis、Erlang 的 PropEr、Rust 的 quickcheck、JS/TS 的 fast-check 等等。这样的优点是，我们已经可以通过产生出的阵列来测试，并打乱它后再确认是否已经排序，但是，这样我们还是只有测了「长度为 3 且内容物为 1 到 3 的阵列」、「长度为 5 且内容物为 1 到 5 的阵列」以及「长度为 10 且内容物为 1 到 10 的阵列」。
2024-03-17 07:15:00
773
原创 AI应用于软件测试的探讨
最近这段时间，随着OpenAi发布Sora，关注AI的同学估计都知道上面这张图，中美两大AI巨头(笑cry了）。当然本文不是聊这个段子，主要聊下AI在软件测试行业的应用与现状。不可否认，借助于AI辅助测试工程师做自动化测试是质量保证手段的趋势。由于AI、机器学习和神经网络是当前最热门的话题，大家似乎有一种“有了AI一切都会变得更好”的错误认知。但事实真的如此吗？
2024-02-28 01:12:13
1419
原创 哎呦我去！原来只有搞颜色的P站真正关心网站性能
近年来，前端“技术”层出不穷令人眼花缭乱，新技术让网站的交互更加炫酷，使得平均网页大小已经接近几兆字节了！毫无疑问这些技术更加吃性能，不得不让前端开发人员为网站的性能问题多考虑考虑了。唯一能找到真相的方法就是动手去做。让我们来为各大知名网站做个检查吧！
2024-02-25 07:15:00
1104
python菜鸟教程
2018-06-05
2017 阿里技术年度精选下册
2017-12-19
Spring+MYBatis企业应用实战
2017-11-26
python cookbook高清资源
2017-11-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人