- 博客(3)
- 收藏
- 关注
RSS订阅原创 甲骨易AI研究院推出中文大语言模型评测集合-LucyEval，让智能有迹可循！
夕小瑶科技说 分享Lucy，是距今320万年最早的人类祖先，也是被输入某种“物质”后大脑开发到100%的超智能人类，能感知宇宙万物，拥有人类所有知识。如果大模型是Lucy，那么LucyEval即是助力其更智能的奇妙”物质“。随着大语言模型不断调优，大模型拥有了更优越的理解人类话语、指令并且生成类似人类语言文本的能力。机器和人类终归不同，如何最快速地判断机器是否能正确理解人类的知识和语言，成为我们共同关注的问题。由此，甲骨易AI研究院推出了中文大语言模型成熟度评测——
2023-08-31 16:47:36
171
原创 国内首个大模型评测数据集（MMCU）问世加速完善国产AI产业图谱
众所周知，人工智能技术在飞速演进。大模型仍有许多难关亟待解决，借助超越MMCU评测数据集，一举打破市面上所有的大语言模型只能基于英文数据集去进行测试的现状，中文大语言模型将有望构建起一个完善的评测的体系，通过发现提升大语言的缺陷提升大语言模型对于中文的理解能力，更好地服务于全球的中文用户。沙龙上，中国科学院大学网络数据重点实验室的咸宁先生则针对MMCU测试集的使用情况进行分享，解释了测试数据集的分析原理，对几大模型的测试成果进行了展示与客观分析，并指出了超越MMCU测试数据集当下尚存在一些亟待解决的问题。
2023-05-23 13:48:18
546
原创 “超越”(MMCU)中文通用大语言模型测试集预发布
测试的结果表明，更大的模型参数量不一定带来更好的性能，而训练方式和所用数据质量也是至关重要的，需要得到更多的重视。“超越”的意义是希望中文大语言模型“超”出多数模型只能基于英文数据集测试的现状，通过发现大模型的缺陷，从而促进大模型理解中文语言的能力，使其“越”来越强大。综上，就目前而言，用于评测大模型的高质量中文数据集仍是稀缺资源，但行业内却亟需一种公开、科学的方式来测试大模型的能力。接下来，将对“超越”数据集(MMCU)中所收录的题目进行介绍，并基于测试结果分析数据在语言模型训练过程中的重要性。
2023-05-12 12:19:46
463
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人