多则惑少则明
让天下没有难测试的项目。专注于测试开发领域,近9+年的工作实战经验,主攻方向包括:
0-1/中期/成熟类大型/复杂系统的业务测试
自动化测试平台&框架开发;
打造质量体系及沉淀质量方法论
个人邮箱zpphnkjxy@126.com
文章周末定时更新,其余时间不定时更新
展开
-
质量指标——增量覆盖率是高好,还是低好?
增量覆盖率,应作为可选指标,对测试准出有帮助就用,无用甚至有妨碍时,不用即可原创 2023-03-07 21:50:08 · 311 阅读 · 0 评论 -
测试创新——QA能像研发一样改动业务代码吗?
QA能像研发一样改动业务代码吗?如果改动代码, 风险如何控制?原创 2022-12-29 20:48:32 · 615 阅读 · 1 评论 -
《QA离业务代码能有多近?》轻量级单元测试方案
业内常见的单元测试做的很重,导致编写&维护成本很大,整体落地ROI不高,最终导致团队成员落地意愿不高。 比如,需求一改,对应的单元测试的代码也得改,容易导致最后写单元测试的工作量比开发的工作量还要大。 那么能不能对单元测试进行“瘦身”,让单测的ROI高起来呢? ...原创 2022-08-10 20:17:23 · 259 阅读 · 0 评论 -
《QA离业务代码能有多近?》QA对业务代码进行可测性改造
一、可测性改造的目的项目测试过程中,不同的测试深度、测试广度,会面临不同程度的“不便”。比如,联盟有不少作为kafka的consumer消费方,由于线下上游业务线没有丰富的流量,或者压根没有流量,多数情况下,上游业务线不涉及改动。由于各个业务线的业务复杂度不同,技术实现不同,历史包袱也不同,那么在保持"原生态实现",不进行任何改造的情况下,面临的测试难点和痛点也会非常不同。2)上下文代码逻辑(上面逻辑,下面逻辑),涉及全量数据的加工处理,离线在线数据的diff等等,十分耗时,但本身未涉及改动。...原创 2022-07-27 22:22:56 · 234 阅读 · 0 评论 -
测试创新——测试左移最大化QA的价值
如何巧借测试左移,来最大化QA的价值?原创 2022-06-06 20:35:33 · 407 阅读 · 1 评论 -
测试创新——QA CR代码收益
引言流程平台——从测试角度看code review_多则惑少则明的博客-CSDN博客直接bug;异常处理问题;可测性改造(CR后,评估使用哪种改造方式,改造的整体方案; );技术设计: 写死的逻辑;出问题时无法验证;打点监控;核心日志(如链路与第三方交互;出现问题时方便排查;)...原创 2022-05-16 12:46:04 · 407 阅读 · 0 评论 -
测试创新——大数据技术方案评审
目录原则1: T-1范围内的统计指标统计,提前规避潜在的性能问题原则2: 严重依赖第三方数据源的核心预估收入类数据,需要快速止血原则3: 考虑存量数据量级,提前规避潜在边界/性能/处理速度/数据倾斜问题原则4:评估数据质量检测,提前检测到异常数据并做异常处理原则5:评估技术实现与业务需求的匹配度原则6:评估技术实现可扩展性实现原则7: 评估当前技术实现下是否存在可测性问题大数据技术方案评审,提前规避问题:原则1: T-1范围内的统计指标统计,提前规避潜在的性能问题原创 2022-05-09 22:44:51 · 493 阅读 · 0 评论 -
测试创新——大数据链路
目录基建-环境1、链路特别长,且由不同团队负责2、线下数据流: 第三方上游无数据流3、链路加工的复杂4、数据正确性校验(数据加工、数据报表)5、可测性改造与易测性改造6、 线上质量卡点7、监控体系8、数据质量衡量基建-环境1)数据目前共有两套环境:staging 和预上线环境: 用于测试联调和自测(与线上隔离)2)稳定性维护: 随时可自测/联调/集成测试3) 数据量级: 存量数据尽可能同线上(如,风险允许下,可直接读取线上数据)1、链路特别长原创 2022-05-05 22:37:57 · 289 阅读 · 0 评论 -
测试创新——用户体验测试(UAT)
目录一、什么是用户体验测试(UAT)二、UAT进行的时机三、参与UAT的成员四、UAT的目标五、测试人员能否找到用户体验方面的bug?六、用户体验问题的几种典型形式一、什么是用户体验测试(UAT)在将产品交付客户之前处于用户角度进行的一系列体验使用,如:界面是否友好、操作是否流畅、功能是否达到用户使用要求等二、UAT进行的时机实际项目中,一般来说,UAT是在 测试人员完成测试之后,产品正式发布线上之前。 当然,个别特殊情况,可能在测试尾声的时候。三、参与UAT的.原创 2021-02-19 16:14:49 · 3645 阅读 · 0 评论 -
技术重构——其实是对自动化实现方案的大考
全量技术重构背景质量保障方案历史包袱原创 2020-12-09 21:13:05 · 423 阅读 · 0 评论 -
测试产品创新——服务端测试演变之路
目录1、原始阶段: 服务端单接口测试2、配置化阶段: web配置化自动化接口测试平台3、专项测试阶段:专项业务痛点4、测试服务化阶段:测试工具服务化5、测试大集成平台:测试大集成平台[纵向业务域]自动化实现优劣评价——以ROI为导向下的自动化评价指标[横向平台]平台价值评价1、原始阶段: 服务端单接口测试普遍采用的是Maven+Java+TestNg框架。 运行方式:testng执行方式 ...原创 2020-12-09 12:24:36 · 532 阅读 · 0 评论 -
资损防控浅谈——资损防控执行
https://zhoupeipei.blog.csdn.net/article/details/102884431如何识别资损风险从经验中学习——往年资损问题归类总结1. 发货错误:--监控单据拦截失败,上游拦截成功上游取消订单,仓做了出库;重复出库;商品数量不准确商品SN数量不准确2. 库存不一致--对账正品残品不准确上下游库存不一致仓内部3级账不平3、 未按时发货--监控预处理异常汇波卡点功能降级后xxx功能无法使用落表...原创 2020-12-07 19:23:38 · 2118 阅读 · 0 评论 -
测试创新——引流测试的边界在哪里
目录一、引流测试的优点二、边界三、天生缺陷四、核心问题五、业务适用性分析写在最后一、引流测试的优点线上海量的用户真实数据的特点:海量丰富多样二、边界1、 不常用的用户场景, 无法保证100%覆盖到,甚至极有可能无法覆盖到。 比如, TOB类产品, 某个操作不是必需的2、重复的流量,无疑增大了很多“冗余”量3、用户数据, 可能存在一些噪声数据,需要去噪;4、完全随机的取线上用户场景, 很大概率会造成场景的侧重, 需要有针对性的筛选、过滤三、天生缺原创 2020-12-01 20:53:29 · 491 阅读 · 0 评论 -
高可用架构——打造高稳定性产品
目录一、数学上表示数据的波动大小二、标准差的例子三、标准差的思路理解产品的稳定性四、产品长期稳定性的干扰因素五、保持产品的长期稳定性的几点思考一、数学上表示数据的波动大小数学上,要描述一组数据的波动大小, 通常用标准差。标准差就是为了描述数据集的波动大小而发明的比如一个班男生的平均身高是170cm,标准差是10cm,那么方差就是100cm^2。可以进行的比较简便的描述是本班男生身高分布是170±10cm,方差就无法做到这点。即: 标准差 = 波动性大小例子, 数据集x原创 2020-11-25 20:35:12 · 639 阅读 · 0 评论 -
测试创新——业务巡检平台心得
https://km.sankuai.com/page/32971846原创 2020-11-10 15:06:42 · 758 阅读 · 0 评论 -
仓储智能调度算法——质量保障方案
一、智能调度1、含义智能调度,目标是解决资源最优使用问题。将需求和可用资源进行最优匹配,以求达到资源利用的最优化。常见例子:外卖骑手接单、抢单;滴滴司机接单、抢单。以滴滴司机接单、抢单为例,目标是解决的是司机和乘客的匹配:1)司机侧: 达到资源利用最优化。 比如,离乘客距离,交通阻塞情况2)乘客侧:达到资源利用最优化。 比如,满足呼叫车型前提下尽可能减少等待时间3)平台侧: 达到资源利用最优化。 (个人猜想)比如, 司机经验,已接单数,好评等等。不能让司机一直接不到单;平台.原创 2020-10-23 13:33:12 · 1994 阅读 · 0 评论 -
测试创新——仓储质量问题解法
https://www.atatech.org/articles/128284原创 2020-10-19 12:15:26 · 229 阅读 · 0 评论 -
测试创新——自动化数据清理方案
目录一、面临的数据问题二、自动化数据清理方案规划1、自动化定时清理2、人工清理三、数据清理闭环思考四、实战-仓储数据清理方案1、清理方案概述2、清理方案实现一、面临的数据问题根本原因:未完结的数据量过多,直接阻塞或影响正常的业务测试。问题描述:操作timeout或根本无法操作二、自动化数据清理方案规划数据日常清理需要满足如下需求:1、自动化定时清理针对日常新增的未完结数据, 需要定时清理;但清理时,需要重点考虑如下问题:1)数据清理...原创 2020-10-19 10:57:32 · 1601 阅读 · 0 评论 -
测试创新——面临的跨多团队业务下项目的难点与痛点
目录一、背景二、项目痛点和难点1、 巨大的沟通成本2、巨大的全链路联调成本3、整体加大 研发难度4、整体加大测试难度5、技术重构、架构升级、融合时业务场景梳理难度大6、整体项目时间跨度大,引入不可控风险巨多一、背景之前写过测试创新——长链路+复杂业务下的自动化测试痛点与难点, 接下来,将介绍下在长链路+复杂业务下, 需要跨多个团队协作的业务在的自动化测试痛点与难点。跨多个团队协作项目的整体特点:1、通常涉及若干个(>=2)域一起协同作业。例如,长链...原创 2020-09-17 21:36:59 · 832 阅读 · 0 评论 -
故障治理思考——稳定性因素分析
目录一、引言二、稳定性因素分析1、技术实现技术实现-DB依赖技术实现-RPC接口技术实现-缓存技术实现-消息技术实现-定时任务技术实现-开关技术实现-监控技术实现-灰度2、暴露手段暴露手段-测试广度&深度暴露手段-提升效率暴露手段-质量闭环暴露手段-提升质量思维3、应急响应4、流程机制三、系统自检一、引言确保系统的稳定性,可以说是所有高质量产品都应该保证的。换句话说, 一个经常由于产品本身不稳定,而影响用户体验.原创 2020-09-16 20:51:27 · 385 阅读 · 0 评论 -
故障治理思考——以保障系统稳定性为根本目标
vff原创 2020-09-15 15:28:36 · 635 阅读 · 0 评论 -
故障再思考-预防故障清单
引言之前聊过关于故障的一些感悟:故障的坑,你踩了多少遍、如何减少线上故障、典型故障分析、从稳定性保障角度看故障演练。其实关于故障的讨论,需要先达成几点共识:故障不可能长期100%避免;故障的产生是团队中各角色都”恰巧不正确作为“才出现的。 即,各角色任何一方在线下识别出此问题,就不会引发线上故障;除了思考如果尽可能避免故障,还应该建立一套故障发现、快速恢复机制线下任何一个阶段的工作不到位,都会给故障的产生提供温床为了便于讨论, 下文中的故障讨论,会变成线下bug的讨论。故障.原创 2020-09-14 19:33:04 · 267 阅读 · 0 评论 -
测试创新——长链路+复杂业务下的自动化测试痛点与难点
一、引言从自动化方案整体设计角度,谈谈自动化的架构设计。二、自动化测试的范围狭义理解<!-- https://mvnrepository.com/artifact/dom4j/dom4j --> <dependency> <groupId>dom4j</groupId> <artifactId>dom4j</artifactId> &...原创 2020-08-27 15:35:44 · 1302 阅读 · 0 评论 -
质量体系建设——环境治理
环境复杂度一直都非常高,要进行彻底解决也不是一朝一夕的事情,而且需要长期运作需要看两个数据:1是调用是否成功,2是调用是否拿到正确结果而我们在S1具体聚焦的还是第一个点,调用是否成功,因为这是第二个点的前提条件https://www.atatech.org/articles/124020什么是测试环境优劣 当有人问你什么是好用的测试环境?你怎么回答? 你可能...原创 2020-08-27 12:17:49 · 278 阅读 · 0 评论 -
java + selenium 爬虫实践
解析:http://stockpage.10jqka.com.cn/603517/finance/Mac 电脑Chrome 浏览器版本:版本 84.0.4147.135(正式版本) (64 位)driver下载地址:http://npm.taobao.org/mirrors/chromedriver/package com.example.firstspringboot.myplugin;import com.alibaba.fastjson.JSON;im...原创 2020-08-20 20:12:40 · 557 阅读 · 0 评论 -
测试技术创新——测试技术架构设计
业务/产品----技术架构测试---------测试技术架构“千手观音”测试时代形式:提供测试接口A: 可以实现xxx接口自动化测试提供测试接口B: 可以实现某某数据的清理重构的难题;互为干扰;测试平台化大而全基础上,追求通用、稳定测试服务化实现核心目标: 测试服务追求小而美开发同学: 技术方案评审;后续,测试同学: 测试技术方案评审, 测试架构评审测试架构师测试团队的技术带头人,在系统非功能特性的测试、自动化测试框架等...原创 2020-07-14 21:27:58 · 802 阅读 · 0 评论 -
测试创新-自动化不稳定的几个原因
业务实现频繁变动专门对业务实现代码, 为了测试,做改造。 例子 , 异步转成同步使用底层服务接口。 接口A 变动了, 必须变动使用不被业务使用的接口。 接口下线,被改, 不再维护了使用太多临时数据使用公共数据过度依赖太多开关不稳定的原罪要归结于: 自动化同学对自动化测试架构设计的力有未逮。如果但从效率提升方面,可能能起到作用, 但一旦从稳定性方面来评估整体的自动化效果, 类似的自动化测试方案设计就显得”相形见绌“了。用个不...原创 2020-07-11 23:26:11 · 743 阅读 · 0 评论 -
测试技术创新——端到端自动化实现的几种方式
什么是端到端自动化实现web前端/APP/小程序直接调用的服务端接口。常见形式L:HTTP(S)对于后端自动化来说, 是集成程度最高的自动化实现形式,也是最有bug发现价值的自动化实现形式端到端自动化实现难点接口的入参如何快速代码表达;接口如何串联起来;举例:http://xxx?入参: json串出参: json串一个接口如何表达对于每个接口而言:1)拼接入参2)执行3)解析出参(供后续接口获取)1、 fastjson 实现 入参、出..原创 2020-07-11 23:21:33 · 1004 阅读 · 0 评论 -
测试创新——引流测试实践浅谈
无论讨论什么问题, 希望尽可能站在“上帝视角”,能比较全面的分析问题。因而,这里会同时对 引流测试的 价值 、以及其局限性、使用前提进行探讨。使用的不爽之处极度不稳定(数据同步、状态变更)无法任何业务自动化测试链路调试投入大(需要详细了解下游依赖的底层数据表的关联关系, 故而,需要开发人员 协助)自动化价值低,具体体现在:1、效率提升方面:自动化维护 投入大, 产出仅仅原有回归;一旦业务实现变动,这是常态, 自动化必须重新调试2、引流测试方法的 最大痛点。线上没有场景, ..原创 2020-07-11 23:13:57 · 537 阅读 · 0 评论 -
测试创新——如何自动测试出口消息报文
目录一、什么是出口消息报文二、测试需求三、出口消息报文,人工如何测试的四、出口消息报文,自动化测试五、总结一、什么是出口消息报文业务A,业务B,属于不同域,甚至不同事业部。 业务A 会给业务B发消息,消息的内容格式有json串,xml格式等等。 此时的消息内容称之为 消息报文。 对于业务A来说,是消息报文发送方,故而对于业务A来说,改消息内容称之为 出口消息报文。二、测试需求对于业务A来说,由于业务需求、技术重构等等原因,需要回归测试、或业务测试 此段 消息报文 有无被“原创 2020-06-29 21:29:32 · 402 阅读 · 0 评论 -
无人值守自动化方案:让架构重构测试变得轻而易举
背景从19年12月开始,一直到20年4月份,整整经历了5个多月的技术大重构,中间还伴有一个业务需求。由于涉及业务复杂超过预期,加上疫情的影响,整个项目进度面临重重的艰难险阻:业务复杂度超过预期,技术方案评估未覆盖,后续临时补作业;疫情袭来,人员被紧急抽调做相关需求;平台与2b侧随着突发情况,原定的排期改了又改;测试期间,代码CR分支主流程不通阻塞测试;再来看看整个2b侧测试现状与压力:平台侧无法提前进行业务测试,导致平台侧 、2b侧的测试压力 ...原创 2020-06-16 18:34:41 · 624 阅读 · 0 评论 -
测试创新——优秀的自动化实现方案评价指标
目录一、自动化方案常见问题二、自动化方案常见的评价指标1、对测试效率的提升2、对测试覆盖度的提升3、在测试效果上提升4、自动化方案稳定性5、自动化方案的创新性6、自动化方案整体易用性三、自动化数据的例子四、以ROI为导向下的自动化评价指标五、写在最后由于前端(web/H5)、APP等自动化与服务端自动化存在评价指标差异。故而以下自动化的讨论范围仅仅限于服务单自动化。一、自动化方案常见问题脑海中设计的自动化实施方案:自动化覆盖的全面性; 自动化运行原创 2020-06-04 19:58:41 · 1283 阅读 · 0 评论 -
测试创新——无人值守自动化测试概要
自动化测试普遍存在的问题测试层面, 大概从3个层面看 测试的成熟度:1、 代码逻辑类/功能类测试2、技术专项测试(算法、数据、链路等等)3、以提升效能、业务质量为目标的各种平台、自动化工具、分析工具但无论哪种自动化方式,不同程度均会存在如下问题:自动化运行不稳定。自动化发现bug率低。自动化覆盖场景不全面。无人值守自动化的目标自动化覆盖的全面性; 自动化运行结果的可信性; 自动化运行的稳定性; 满足上述3个条件的自动化,就相当一个测试人员执行测...原创 2020-06-01 21:05:15 · 1025 阅读 · 1 评论