1. 引言
在过去的几年里,随着计算能力的增强和数据量的爆炸式增长,人工智能尤其是机器学习领域迎来了前所未有的发展。中国在这一领域也展现出了强大的竞争力。特别是在大模型(Large Models)市场,中国已经成为全球领先的参与者之一。这些大模型,如基于深度学习的自然语言处理模型,不仅在技术上取得了重大突破,而且在商业应用中也开始发挥越来越重要的作用。
1.1 生成式AI(AIGC)的崛起
生成式AI(Artificial Intelligence Generated Content, AIGC)是指利用人工智能技术自动生成内容的一种方式,它包括文本、图像、音频和视频等多种形式。近年来,随着大模型技术的进步, AIGC开始在内容创作、媒体、教育等多个领域显示出巨大的潜力。在中国,这种技术的应用也日渐广泛,引起了业界和学界的广泛关注。
1.2 SuperCLUE:中文通用大模型综合性测评基准。
SuperCLUE是针对中文可用的通用大模型的一个测评基准。它主要要回答的问题是:在当前通用大模型大力发展的情况下,中文大模型的效果情况。包括但不限于:这些模型哪些相对效果情况、相较于国际上的代表性模型做到了什么程度、 这些模型与人类的效果对比如何?它尝试在一系列国内外代表性的模型上使用多个维度能力进行测试。SuperCLUE,是中文语言理解测评基准(CLUE)在通用人工智能时代的进一步发展。
目前包括三大基准:OPEN多轮开放式基准、OPT三大能力客观题基准、琅琊榜匿名对战基准。