FlagEval 7月榜丨新增29个模型评测结果,智源发布评估技术报告《AI大模型能力全景扫描》

智源研究院FlagEval 7月榜单新增29个语言、多模态和文生图开源与闭源模型评测结果,包括阿里巴巴、OpenAI、快手、智谱等厂商近期发布的新模型。

本次评测发现,大语言模型,国产模型主观能力整体有所提升;视觉语言新模型的能力有所提升,从本次指标上观察来看,使用强大的语言模型,如llama3可以无痛提升多模态模型的相关指标,但是否真正提升跨模态能力,还有待进一步的研究;文生图模型,国内外模型差距极大缩小,效果逼近国际一流水平。

闭源大语言模型,取中文+英文主观评测的综合成绩,共更新14个闭源模型,以下为Top 10上榜模型得分情况:

开源大语言模型,在中文+英文双语评测的主观评测榜单中,在原有29个模型评测结果基础之上,更新5个模型,共33个模型,以下为Top 10上榜模型得分情况:

视觉语言模型,在原有17个模型评测结果基础之上,更新了5个模型,共22个模型,视觉语言模型的排名按照Avg Rank进行排序,本轮排名分数取多个数据集排名的均值作为最终得分,因此平均排名分数越小的模型名次靠前,以下为Top 10上榜模型得分情况:

文生图模型,在原有18个模型评测结果基础之上,新增了4个模型,共22个模型,本次排名以主观评测分数为主要排名依据,以下为Top 10上榜模型得分情况:

更多评测结果请参阅FlagEval官网:flageval.baai.ac.cn

智源研究院将长期以来在大模型评测的方法、流程和技术等维度的探索与实践,形成了第一期智源评估技术报告《AI大模型能力全景扫描》,持续推进大模型行业的蓬勃发展,报告建议支持开源开放建设,加强评测标准建设,强化协同研究,鼓励创新,推进行业应用,重视安全风险,优化监管,搭建产业生态。欢迎业界同仁提出宝贵意见,上下游企业积极共建。

点击链接即可下载《AI大模型能力全景扫描》:

Docsicon-default.png?t=N7T8https://jwolpxeehx.feishu.cn/file/SunjbO86VoNb4HxL5XTcCZkvntg

  • 3
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值