开发质量问题复盘总结-pua性质的标题

测试开发如何撕起来~~~

测试流程

版本提测、集成、发布计划与大盘保持一致

RD自测（冒烟不通过的要求RD录自测视频，提测不通过发邮件打回，0106版本打回一次）->提测->提测前PM验收需求基本功能（目前这个点S2做的不是很好）->QA冒烟测试（功能分工：双列 单列 深色 浅色，iOS端分配给外包工作量50%；新需求埋点正式员工投入100%，脚本对比测试，无需外包支持新埋点测试）->主功能测试：一轮测试完成，交换模块测试->一灰集成前埋点测试（外包：老埋点投入100% 采用脚本对比双端测试）&&一灰集成前功能回归测试（外包、正式）->如遇性能测试，目前外包支持测试

（1209至今iOS端性能测试1次）->bugfix->二灰集成&&iOS发布前审核测试->正式包回归测试

1.1 搜索SDK客户端 | iPhone端1209版本

风险：2月3日18：00，一灰集成当天临近下班提测

解决办法：加班支持测试，凌晨2：40集成成功

遇到的问题：双端二级页未曝光；iOS端选集 查看详情，埋点日志格式错误，由于修复老的埋点问题引入了新的bug，未登录状态点击vip缓存按钮crash。一灰紧急集成

1209原tab改造 sug等bug，在1223版本解决的个数为 46 个，1209版本共 93 个bug

1.2 搜索SDK客户端 | iPhone端1223版本

风险：原tab改造、sug功能等，发现bug40+，共108+

解决办法：iOS端RD周末集体加班1-2PD进行开发，QA周末加班1PD支持测试。由于以上需求要覆盖深色浅色模式等，业务量较大，由于PM决定双端1209以上需求暂不上线，延顺至1223版本

遇到的问题：双列需求tab改造存在不稳定复现的bug（目前观察日志为传参不稳定），双列埋点绝大数未开发，修复老的bug总会引起新增bug

1223版本BUG数目共 149 个 Android 端 33 个；iOS端 69 个；服务端 11 个；剩余为其他bug，

1.3 搜索SDK客户端 | iPhone端0106版本

风险：原计划周二提测，实际周三下班前提测，提测delay 1PD。

解决办法：由于周二早上一灰，需要周一晚上集成。综上，预计周末RD QA集体加班1-2PD

遇到的问题：语音bug较多；会员权益与支付业务线联调未通过；默认页话题后端接口暂未开发好，无法联调

0106版本BUG数目共 86 个 Android 端 14 个；iOS端 43 个；服务端 13 个；剩余为其他bug，

1209版本至今存在的问题总结：

Bad:

服务端预发环境经常不稳定，kg卡片引擎返回的字段错误，导致前端样式错误等，多个版本阻碍客户端测试

tab改造bug太多，反反复复一个bug不能完全修复，总会引起新的问题

iOS端提测较晚

历史埋点问题应该哪个版本修复？目前都移到线上bug专项，关注度不是很高，后续每个迭代版本与PM确认修复一部分线上问题

Good：双端传参ob noqc category等测试，统一双端传参

双端埋点测试采用脚本对比，提高效率，准确对比

---

---

项目回顾0225

测试人员任务分配：新架构功能AB跟进，CD优先支持0225老架构测试

由于Android端新架构需要与0225需求代码分支合并，在0225一灰时发版，故之前的QA人力主要集中在Android端测试，且iOS提测时间较Android晚2天，且存在的bug较多；iOS0225一灰时，由于iOS新架构测试进度较慢，问题较多，iOS新架构代码并未合入0225分支

QA测试时间仅1.5天，组内按测试case模块分工，0220晚上加班通宵测试（负责新架构功能测试的QA提交bug时间较晚）

项目回顾0311

测试人员：新老架构的所有功能追齐+回归+新架构pv事件AB ，新架构的除pv以外的埋点CD，服务端EF，G备份

提测进度：0127 Android端如期提测，iOS端提测内容较少（且UI无任何修改），无法验证。目前iOS提测包内容：默认页改造除了历史记录还有点问题，未提测

iOS提测时间晚1.5PD，QA为赶进度，抽出一部分时间加班支援测试；

bugfix期间，由于iOS 在0225未对齐部分功能、UI，0311版本解决了绝大数遗留的问题，功能已对齐，遗留3个小bug；iOS未保证100%埋点正确，切流风险高；

0311版本iOS端新架构UI同学提交64个bug，剩余34个，经UED同学确认--iOS端新架构放量要考虑UI还原度，注重用户体验

BUG数目

iOS端：66个；Android端：43个；后端：28个；共计137个

新架构iOS端UI设计走查记录（不包含0311默认页需求）

测试包：3月7号17点 bugfix包（构建号11110324）

    1）UI问题共64个（含新增问题1个），已修复验证30个

    2）下列卡片未看到效果：顶部weex卡片（春节类、赛事类）、运营banner、热点

    3）UI问题汇总地址：

    iOS端标注地址：

    新架构Android端UI设计走查记录（不包含0311默认页需求）

    ​测试包：7号10点 bugfix包（构建号11107283）

    ​1）UI问题共22个，已修复验证21个，暂缓调整1个

    ​2）下列卡片未看到效果：顶部weex卡片（春节类）、热点

0225~0311版本bug统计：

共374个bug  

iOS端 136 个，Android端 127 个

目回顾搜索组件化-新架构

测试人员：与0225需求测试时间并行。经协商，新架构功能由QA AB跟进测试，CD优先支持0225测试

由于iOS新架构提测时间较晚，问题较多，iOS一灰时新架构需求代码未上线，在bugfix期间测试新架构，二灰时候上线，放量<1000

计划0311优化0225新架构UI等问题、iOS端补齐老架构所有埋点以及0311新需求，0311以后，老架构需求不在维护，线上接口统一走yksearch

项目回顾0325

测试人员：0325新老架构的所有功能追齐+回归+新需求埋点测试 AB ，新架构埋点对齐CD ，服务端EF ，G 备份

iOS端 0311版本遗留的UI bug较多，在iOS提测第一天已周知UI同学验收~

iOS端新架构从0225版本至今，埋点需求一直未对齐，遗留问题较多

项目问题

1. 测试范围：iOS端新老架构-kubox最近搜索埋点、预约功能以及埋点、0311版本遗留UI以及功能性BUG验收；
2. 截止03月21日20：30，0325版本BUG数目共 151 个，iOS端BUG 95 个，Android端BUG 22 个，后端BUG 34 个
3.  iOS端0325二灰包测试到凌晨4点的原因：RD修复埋点问题+白天发现的直播小bug，到凌晨以后重新打包，测试时QA发现新包引入了一个新崩溃（点击排行榜有直播类型的关键词，崩溃），原因：修复直播bug引入了新的bug。。凌晨1点多，开发修改代码自测时，发现筛选卡片切换tab曝光的不是新页面埋点还是上个tab埋点，对代码进行修改后，重新打包。凌晨2点多，开发打完新包，开发发现摩天轮的配置依赖不对，导致去吐槽时有时无的问题。凌晨3点，重新打包，QA测试~      
4. 思考：QA尽早暴露埋点问题，摩天轮配置问题，要提醒开发确认是否配置正确；加强开发自测意识

截止03月21日20：30，0325版本BUG数目共 151 个，iOS端BUG 95 个，Android端BUG 22 个，后端BUG 34 个

项目回顾0408

客户端-iOS，提测时间delay 1PD

直播有些数据没有准备好，无法联调

客户端需要调整推荐语解析逻辑，下午才能提测

客户端-Android，提测时间delay 0.5PD

直播有些数据没有准备好，无法联调

截止04月03日20：00，0408版本BUG数目共 73 个，iOS端BUG 27 个，Android端BUG 24 个，后端BUG 11 个，weex以及其他业务线BUG 11 个

项目回顾0408

0422版本iOS端仍需要测试新老架构功能，Android需测试新架构，老架构不再更新需求

昨晚，二灰集成包测试，iOS端，修改线上老架构自频道UI原有问题，导致新架构自频道UI出现问题。且，0422版本老架构默认页50%流量为新架构默认页，但搜索结果请求老架构接口，导致此设计的默认页新增bug2个，在集成过程及时发现。昨晚测试到凌晨1：00，完成回归

项目回顾0507

iOS二级页埋点未提测，Android提测了

iOS节目卡片曝光埋点和海报图点击埋点trackinfo增加beginTime字段，晚点提测

iOS reopen率较高，BUG较多

双端+后端共计 57 个BUG（iOS端33个，Android端9个，后端15个），BUG地址  

项目回顾0520

iOS青少年模式提测时间为0516晚20：30

Android青少年模式RD接口传参每个都传了designate_mode =1，designateMode = 1方便服务端用哪个取哪个。iOS按照需求传参

iOS提测质量较差，reopen数目为7个

iOS端UI问题在一灰至bugfix期间占用2天时间修复。新包修复bug会引起新增bug，请注意开发自测质量

iOS端每次的“马上出包”==1小时~1天，以后的版本请真实评估，实事求是，不要每次都搞到凌晨2点以后再给包

二灰最终包给出时间为5.16日晚20：30，UI的bug一堆，总会因为修复UI的问题引发新的BUG，集成包最终于打包时间为5.17凌晨04：02，由于包大小超标（UI焕新 图片资源替换导致包大小超限/6月份全面瘦身 切换到新架    构 老架构代码下线/6月第一个版本），但等到架构组上班就已经过了集成时间，这次改动的资源太多，删除两个没用的根本不管用，故此耗时较长的修改调整代码，RD最终代码提交时间为凌晨06：58

根本问题：iOS开发人力较安卓少1人，请开发leader适当增加iOS端人力

双端+后端共计 160 个BUG（iOS端77个，Android端42个，后端15个）

---

---

项目回顾0603

0603版本BUG数目共 113个 Android 端23个，iOS 46个，服务端22

项目回顾0617

截止06月13日20：25，搜索SDK 0617版本BUG数目共 95个，其中iOS端BUG 45个，Android端BUG 24个，后端BUG 8个，指给PM的BUG 7个，其他业务线BUG 11个  

                      

1. iOS资料页去掉spm_new 和scm_new，同时iOS这个页面去掉cn 其他的双端不一致的埋点问题属于历史遗留（属于0225版本到4月份版本iOS一直未对齐，开发提测进度都较慢较差）
2. 资料页（如懿传-查看详情）点击任意区域，均无点击埋点，首个版本提测，点击埋点上报多了spm_new scm_new，且与安卓端7个字段不同（多出 缺少key），4个字段的value不同
3. 0603版本，ogc二级详情页（电视剧-爱情 美国）翻页，展示完筛选项下的资源后，再翻页，展示了全部tab无条件的资源。6月10日，以上问题但未修复好，改完后为筛选-翻页--资源重复了（如 一切都是为了孩子 出现了4-5次）。6月11再次修改后，筛选-翻页，拉到底部最后一页，再到第一页，顶部资源变了，且上方的tab消失
4. 0603版本，ugc视频二级详情页（这就是街舞-高能Battle看点全get）的翻页时展示为单双数视频，06月11日，修复单双数视频，但翻页数据展示错误，视频数iOS比安卓多了3倍，接口（{{y-search}}/search/query?appScene=detail_page&sdkver=105&keyword=%e8%bf%99%e5%b0%b1%e6%98%af%e8%a1%97%e8%88%9e&appCaller=y
5. -search-sdk&aaid=111&pg=1&userAgent=phone;android&pz=30&utdid=V50oOso8i4UDALupbmNd00a0&userType=vip&searchType=5&bigUgcSelect=scg_2301552

）正常，iOS多出的数据，接口没有。20：00最新的包仍未解决此问题，此BUG QA在群里抛出且提交到aone。开发为什么不修复？？？

1. 6月7日，QA把资料页全部埋点测试完毕，6月10日 iOS开发用了1pd修复，bug 6月11日提测包二级页点击埋点全部未上报，翻页 ogc ugc 等bug仍未修复。直到6月11日18：00才给出修复的包，但二级页花絮 新闻 演员 猜你想搜等点击埋点spm的D位均错误。且上午PM提出的kubox仍未完整修复
2. iOS 除了tab页 其他功能屡次测试不通过，跟没有提测有何区别

综上0617埋点 功能提测质量太差

提测时间：

周二：服务端提测

周四：客户端提测

二灰集成前：测试报告+集成

质量衡量指标：

提测通过率不低于90%，一灰集成前提测版本不超过3个，一灰集成到二灰提测次数不高于2次

双端bug数各自不高于24个（以往近5个历史版本，Android端平均bug数），低级别bug比例不高于50%。低级别（严重程度）bug定义：需求里明确定义好的、冒烟用例里已有的、UI的、点击埋点的

bug reopen率不高于3%

需求：

需求评审提前一周，若需求过多，则需要砍需求

设计评审提前一周

首次提测必须包括全部需求埋点

你准备好以往的质量数据

提测不通过，bugreopen等

你把问题分下类，各类的数据理下

对开发和产品的要求定几点

平台搞了客户端pipeline，包大小、性能、静扫、回归、性能等等都集成进去了。7月份的版本搜索开始试用。