前言
模型的实现固然重要,但是模型的验证也是不可或缺的一块。只有模型,没有验证就行代码不经测试直接上线一样的道理,质量是无法保证的。
近期研究对象的排行,实践各种算法之后,得出了对目标对象的排行结果。但这仅是完成了工作的2/3,对所得结果的准确性是不能够仅仅凭借模型设计者的主观经验来判断好坏的,毕竟不是业界的专业人士,对业务信息各种通透的理解。当然,如果你足够权威,业务知识无人能敌,你的经验足以验证,那也无话可说。验证方式
1. 交叉验证
利用三方榜单,根据你的榜单,选择多个权威性的三方榜单进行定量交叉验证,例如前100名中,自定义的模型结果与三方榜单中交叉作品比例;但并不是交叉作品越多越好,毕竟选取的指标和计算方式是不同的,但需要有一定的量,权威之所以权威在于他的已被验证的准确性,量的确定需根据实际情况来看。
2. 纵向比较
基于三方榜单,自定义榜单与权威榜单间排名的差距,从方向来看,验证同一个作品与其他作品排序前后顺序两个榜单的一致性,通俗的说就是在权威榜单中A优于B,在自定义榜单中A是否也优于B,验证自定义榜单排序的合理性。
首先构建作品间方向的0,1变量,并计算出作品相同位势的比例,通过所有参与排名作品的平均同位势比例作为验证指标。
3. 横向比较
方向上进行了验证