文章目录
- 概述
-
* 申请后直接使用大模型
- 开源可本地部署
- 通识数据集测评(C-Eval 、AGIEval、MMLU、SuperCLUE)
-
* 自媒体报道
- SuperCLUE:中文通用大模型综合性基准
- C-Eval:中英测评(清华上交提出)
-
* 当前排名(23.06.27)
- 数据集内容
-
* 具体的科目 如下图:
- 数据量与试题示例
- 论文中的测评结果
- AGIEval:微软 中英文评测
-
* 数据集内容
- 人类与国外主流模型差异
- MMLU : 英文试题
-
* 部分测评结果
- 试题内容
概述
中文英文模型,GPT-4性能是当着无愧的王者,但无法使用。中文评测平台
榜单比较混乱,看个人使用习惯。
模型汇总: https://github.com/wgwang/LLMs-In-China
申请后直接使用大模型
- 遇事不决-
ChatGPT
: https://chat.openai.com/ - 百度-文心一言:https://yiyan.baidu.com/
- 360智脑:https://chat.360.cn/
- 阿里-通义千问:https://qianwen.aliyun.com/
- 清华-chatGLM:chatglm.cn
- 科大讯飞-星火:https://xinghuo.xfyun.cn/
开源可本地部署
中文:清华60亿参数 ChatGLM2-6B
: https://github.com/THUDM/ChatGLM2-6B
通识数据集测评(C-Eval 、AGIEval、MMLU、SuperCLUE)
自媒体报道
百度文心大模型3.5(ERNIE 3.5)
中文能力突出,部分超过 GPT-4 的表现;综合能力稍逊于GPT-4,但是平均能力超过chatgpt
SuperCLUE:中文通用大模型综合性基准
评测地址:https://github.com/CLUEbenchmark/SuperCLUE
C-Eval:中英测评(清华上交提出)
论文
:一个用于基础模型评估的多层次多学科的中文评估套件
C-Eval: A Multi-Level Multi-Discipline Chinese Evaluation Suite for
Foundation Models
当前排名(23.06.27)
该榜展示了,GPT-4在困难问题, 科学技术工程数学(STEM)上的强大准确的回答能力。
而chatglm在人文和社会科学方面遥遥领先。
数据集内容
具体的科目 如下图:
4个圈分别表示:
人文学科(humanities)
社会科学(Social Science)
STEM
是科学(Science)、技术(Technology)、工程(Engineering)和数学(Mathematics)四门学科英文首字母的缩写。
这些科目的不同颜色
表示四个难度水平:中学、高中、大学和专业水平(professional)。
数据量与试题示例
论文中的测评结果
测评方式,API或者开源模型(weights)
AGIEval:微软 中英文评测
论文
:AGIEval(一个以人为本的): A Human-Centric Benchmark for Evaluating Foundation
Models.
该基准选取20种面向普通人类考生的官方、公开、高标准的资格考试、包括普通大学入学考试(如中国的高考和美国的SAT考试)、司法考试、数学竞赛等
数据集内容
律师资格
考试 (lawyer qualification exams)、
国家公务员
考试 (civil servant exams)
GRE
(Graduate Record Examination)是美国研究生入学考试)
GMAT
(Graduate Management Admission Test)是经企管理类研究生入学考试)。
人类与国外主流模型差异
GPT-4
MMLU : 英文试题
测量大规模多任务语言理解:2009. Measuring Massive Multitask Language
Understanding
该测试涵盖了57个任务,包括基础数学(elementary mathematics)、美国历史、计算机科学、法律等等。
用以测量模型是否,具备广泛的世界知识
和问题解决能力
部分测评结果
https://paperswithcode.com/sota/multi-task-language-understanding-on-mmlu
试题内容
图来自论文
STEM
是科学(Science)、技术(Technology)、工程(Engineering)和数学(Mathematics)四门学科英文首字母的缩写。
AI时代的职场新潮流
听说AI要来抢工作了?别担心,新岗位可比旧岗位有趣多了!想象一下,你从搬砖工升级成了机器人操作员,从算盘小能手变成了大数据分析师,这不是美滋滋吗?所以,社会生产效率提升了,我们也能更轻松地工作。不过,想成为AI界的佼佼者?那就得赶紧学起来,不然就会被同行们甩得连AI的尾巴都摸不着了!
如何学习AI大模型?
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
![](https://img-blog.csdnimg.cn/img_convert/063495bdf84281c94658800d053d5309.jpeg)
一、全套AGI大模型学习路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
![](https://img-blog.csdnimg.cn/img_convert/063495bdf84281c94658800d053d5309.jpeg)