序号 | KPI | 评分 标准 |
第1项 | 【测试提效】 1、客户端 通过提前对需求的预判、与其他团队协调、通过代码获取依赖关系等,不再出现等候进集成的情况。进集成时间不晚于20:00。 各阶段测试和回归时长缩短50%。(基准数据数据平台出) 核心场景自动化case增加覆盖面,通过率不低于98%,bug发现率(自动化发现bug数/bug总数)不低于10%。Case稳定性有效性不低于98%(非bug的fail即为不稳定) 整体测试人力投入缩减30%(通过正式、外包同学的工作+加班时长判断)。(加班情况和外包公司出数据) 测试周期(集成前测试时间)不高于研发周期的50% 2、竞品评测 目标1:全自动化抓取接口和截屏,包括但不限于华为云 腾讯云 阿里云 京东云(视情况)。新query无需人力投入。 目标2:懂竞品对比的理论、方法、指标,能总结各个竞对的特点和优势,有落地产出。 (衡量标准:常态化能力建设,接口数据抓取需求1h内完成,完全满足产品需求;截屏至少1屏,稳定性95%以上,截屏100%可用,覆盖至少3个竞品,接入研发竞品监控大屏;竞对报告可对产品研发分享,有正向评价,有被采纳或排期) 3、埋点质量体系 埋点测试和回归 双端测试和回归周期下降50%,1h内,从埋点开始测试要结束的时间。(自研的能力足够简单稳定,需要其他人配合的要去push) 其他端埋点测试和回归全自动化,周期1h内,从埋点开始测试到结束的时间。(自研的能力足够简单稳定,需要其他人配合的要去push) 埋点监控和排查 大盘各项指标实时监控,能早于BI发现线上埋点问题,全端。不出任何埋点导致的大盘指标计算问题 算法使用字段异常监控,梳理所有算法使用字段,做离线、实时的监控,包括缺失、异常值、值范围不正常等 监控报警中能直接定位到有问题的埋点项、页面、点击or曝光位置、视频信息等,能结合用户行为做完整的复现 (衡量指标:报警有效率100%,bug处理率95%+,建自动的推动机制,体系完善例如日志解析、归类、影响面等辅助判断,无算法使用字段异常的线上问题) | |
第2项 | 【专项】 目的:解放人力,减少线上问题。 1、性能测试 性能测试方案:自动化测试准确率100%,人工0投入,包括所有竞对的性能测试。 性能测试方案在研发侧落地:研发自测使用率不低于80%。 性能测试基线:报告自动生成,人工投入时间小于0.5h。包括与历史版本、竞品的性能对比,出各版本历史性能数据及趋势,能出客户端和服务端每个阶段分别的耗时 性能问题披露:每个版本出性能变化报告,提前暴露性能问题。 2、全链路协议监控 客户端—服务端 服务端各个子模块间,覆盖全部场景,无线上问题。包括sdk到ysearch,ysearch到sp,sp到qp,sp到ha3,sp到rankservice,有双向的覆盖双向。 报警分级,问题分级,报警准确率100%,问题解决率P12不低于90% 3、客户端代码覆盖率 自动化case行覆盖率60%(不包括研发的单测),执行时间30min内,执行稳定性95%+ 问题排查或复现时,可展示代码执行路径。(衡量标准:按期完成,能有效降低问题排查成本) | 【性能测试】:客户端性能测试无人力投入,研发自测率80%;性能报告自动生成,历史性能趋势,能有客户端和服务端耗时,按业务模块or按代码中的步骤;性能问题不由第三方暴露(测试以外的人) 【协议监控】:客户端到引擎全链路的协议监控,覆盖全部场景,无此类线上问题;报警准确率100%,问题分级,P12解决率不低于90% 【代码覆盖率】:自动化行覆盖率60%,问题排查展示代码执行路径,研发和外包能看懂能排查 |
第3项 | 【分享和成长】 目的:了解搜索链路和底层,拥有全链路测试和工具沉淀的能力。 1、组内分享2次,或大组分享1次。全组匿名打分(全组统一,后续发规则)(12345,4分达标) 2、至少串讲1次,非自己负责领域,比如串讲数据流、服务端架构等。(全组统一,后续发规则)(12345,4分达标)邀请研发给予评价,通过方可(全组统一,后续发规则) 3、平台开发,能完成算法测试平台需求开发2个,无delay无线上bug(什么复杂度的需求,具备什么能力) 【团队协作】 投诉:0次。产品、研发、其他测试团队、任何合作方,对测试能力、过程、结果、协作的不满。(非工作安排,包括对业务有影响、对人不对事、合作团队的TL) 合作方满意度及评价。(有后期调研) | 分享目标达成 串讲通过 平台开发需求完成 |
百度OKR 阿里KPI 感受下互联网大厂的压力
最新推荐文章于 2025-02-11 20:33:43 发布