本示例使用的Dureaderrobust数据集作为首个关注阅读理解模型鲁棒性的中文数据集,旨在考察模型在真实应用场景中的过敏感性、过稳定性以及泛化能力等问题。
假设数据集A(报纸上的文本数据),B(维基百科上的文本数据),利用A训练一个模型,然后利用A,B分别作为输入去做测试,此时A就是域内数据in-domain,B叫out-domain,而open-domain就更加广泛随意了,例如将AB混合起来成为数据集C,C去用作模型的测试输入,这时C就是open-domain。
鲁棒性、过敏感性、过稳定性、in-domain、out-domain、open-domain
最新推荐文章于 2024-11-20 08:54:42 发布
Dureaderrobust数据集是首个针对中文阅读理解模型鲁棒性的评估资源,关注模型在实际应用中的过敏感性、过稳定性和泛化能力。通过使用报纸文本A训练模型,然后用A和维基百科文本B进行域内(in-domain)和域外(out-domain)测试,展示了模型面对不同数据源的适应性。开放领域(open-domain)测试则进一步挑战模型的通用性,如将A和B混合的数据集C用于测试。
摘要由CSDN通过智能技术生成