1、评价哪些方面
【评价维度】
- 非功能性需求,比如吞吐量、并发、可用性、可靠性、可扩展性等;
- 从“客户指标”角度评价(利用半定量测量进行定性评价),比如:经过统计,客户在XX分钟内完成自己90%的理赔需求,符合方案预期吗?
- 参考运营指标KPI,解决方案对它有哪些影响;
- 参考销售指标(利用半定量测量进行定性评价),比如:存量客户增长百分比,市场份额增长率;
【用于评价的数据/材料】
- 是否已经有抽取测量数据的手段?
- (软件)解决方案是否内置测量能力?
- 考虑成本,在测量有效的前提下,适量采用数据进行评价。
2、评价的方法和工具
【探索性测试】
在正式专业测试之外,增加探索性测试;
探索性测试:由精通业务/或者专业测试人员进行无脚本、形式自由的测试;
测试中,测试人员可能会使用意想不到的方法来使用系统,可以看系统是否能够正确响应;
有助于评价易用性、性能。
【常见业务场景测试】
- 编辑日常常见的一组用例场景、用户故事/功能需求;
- 针对一组仿真的数据,按场景依次使用系统,把运行结果和实际结果相比较;
【集成测试】
把解决方案置于(仿)生产环境中,可能会发现新的异常;
【决策解决方案发布】
- 以表格或者其他直观形式给出评价结果,由相关决策者决策,通过会议或者其他线上方式,将任一决策者的意见同步给所有决策者;
- 适用于签字确认的情景:
- 项目有商业/企业范围的影响;
- 监管严格的行业,比如银行、保险、医疗设备、制药公司等;
- 产品的错误/失败可能导致不可接受级别的风险。
【调查】
征求定性或半定量的反馈意见:方案运行地如何,哪些方面用的好、哪些方面用得不好;
【成果测量和衍生的财务收益】
3、解决方案的替换
【替换策略】
- 淘汰旧方案,一次性割接为新方案;
- 分段式(比如按地区、按角色、按使用频度等)割接为新方案,割接过程中旧方案和新方案会 暂时 共存;
- 旧方案和新方案、以时间盒方式暂时共存,在未来的特定日期最终完全割接;比如涉及架构、数据库变更的软件项目;
- 所有新业务使用新方案,原来的业务使用旧方案,新方案和旧方案永久共存;
【选择策略的考虑因素】
- 对于需要数据转换的解决方案,分段式/时间盒式割接是比较合适的;
- 是否能够一部分用户使用旧方案,其他用户使用新方案;
- 考虑存在两个解决方案对操作层面的影响。
【替换活动其他准备工作】
- 跟受新解决方案影响的干系人进行充分沟通:哪些过程会和原来不一样;
- 完成标准操作流程(SOP)/工作说明书;
- 完成相关培训材料、提供培训、分发工作说明书;
- 支持解决方案的必要的硬件准备;
- 与企业/组织的其他重要活动进行协调,最终确认部署时间。