如何评估深度学习模型效果？阿里工程师这么做

复杂的深度模型中，如果效果不好，是因为网络设计的欠缺？还是数据天然缺陷？是训练代码的bug？还是Tensorflow自身的问题？基于此，阿里工程师推出了DeepInsight深度学习质量平台，致力于解决当前模型调试和问题定位等一系列问题。接下来，阿里巴巴高级技术专家、DeepInsight深度学习质量平台技术负责人：孙凯（花名：路宸），带我们一起探索。

1. 背景

机器学习训练过程的调试、可视化以及训练效果的评估一直是业界难题。在数据较少，模型较简单，如LR、GBDT、SVM，超参不多的情况下，模型的可调性和可解释性都有一定保障，那么我们用简单的训练，再观察召回/精度/AUC等指标就可以应对。

而深度学习时代，模型的复杂性远远超乎想象，层层嵌套的网络结构，优化器和大量超参的选择，特征的连续化，一起构建了复杂的深度模型。如果效果不好，其原因是多样的，为了定位和解决这些问题，算法研发同学需要花费大量精力反复尝试，而且很可能得不到准确的答案。简单来说，网络模型近似于黑盒。

 

1. DeepInsight

通过研究，我们发现训练和评估过程中大量中间指标与模型效果能产生关系，通过系统的分析建模张量、梯度、权重和更新量，能够对算法调优、问题定位起到辅助决策作用。而且，通过改进AUC