鲁棒性、过敏感性、过稳定性、in-domain、out-domain、open-domain

Dureaderrobust数据集是首个针对中文阅读理解模型鲁棒性的评估资源,关注模型在实际应用中的过敏感性、过稳定性和泛化能力。通过使用报纸文本A训练模型,然后用A和维基百科文本B进行域内(in-domain)和域外(out-domain)测试,展示了模型面对不同数据源的适应性。开放领域(open-domain)测试则进一步挑战模型的通用性,如将A和B混合的数据集C用于测试。
摘要由CSDN通过智能技术生成

本示例使用的Dureaderrobust数据集作为首个关注阅读理解模型鲁棒性的中文数据集,旨在考察模型在真实应用场景中的过敏感性、过稳定性以及泛化能力等问题。
假设数据集A(报纸上的文本数据),B(维基百科上的文本数据),利用A训练一个模型,然后利用A,B分别作为输入去做测试,此时A就是域内数据in-domain,B叫out-domain,而open-domain就更加广泛随意了,例如将AB混合起来成为数据集C,C去用作模型的测试输入,这时C就是open-domain。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
>