机器学习测试-入门与实践 读书笔记

第八章 机器学习测试基础

8.1 了解机器学习的周期

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-znsVkDI6-1626365517133)(/Users/wengzhiqiang/Library/Application Support/typora-user-images/image-20210715234727272.png)]

• 收集数据：包括数据的采集、数据集划分等等工作；
• 特征工程：对收集的数据进行数据预处理、对特征依各种指标进行选择等等；
• 训练模型：包括模型选择、调参、模型评估等工作。

8.2 测试难点

• 数据获取困难；
• 数据质量难以保证（这里包括数据的分布、数据中outlier等等）；
• 特征质量；
• 结果验证：线下模型评估；
• 线上服务效果验证：线上服务模型结果预期以及模型后期变化。

8.3 测试重点

8.3.1 数据质量

通过检验数据的统计信息、梳理数据与业务的关系、定期巡视等方案。

8.3.2 特征质量

• 特征阈值；
• 特征与结果相关性；
• 特征一致性：线上线下&前后一致；
• 特征计算开销；
• 特征合规性；
• 特征计算代码单元测试；
• 特征计算代码检查。