Open LLM Leaderboard 开源大模型排行榜

已于 2024-05-04 13:44:41 修改
阅读量1k 收藏
点赞数 1
分类专栏： LLM & AIGC 文章标签： open llm leaderboard 开源大模型 排行榜 榜单
于 2024-05-04 13:21:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovechris00/article/details/138439927
版权
更难、更好、更快、更强：LLM Leaderboard v2 现已发布
强化学习曾小健
06-27 710
在过去的一年里，我们评估了超过 7500 个模型，观察到许多模型并没有被社区广泛使用。最常用的通常是新的基础预训练模型，通常使用大量计算资源构建，社区可以随后进行微调以适应其用例 (如 Meta 的 Llama3 或阿里巴巴的 Qwen2)。一些高质量的聊天或指令模型找到了一个庞大的用户社区，如 Cohere 的 Command + R，并成为社区实验的强大起点。♥️然而，其他模型的故事可能不同，即使在排行榜上排名靠前。
Hugging Face Leaderboard 排行指标详解：入门指南
赵大仁的博客
12-19 1827
Hugging Face Leaderboard 是一个公开的模型评测平台，主要覆盖自然语言处理（NLP）领域的各类任务。每个模型都会根据某一任务的具体指标进行排名。官方网站Hugging Face Leaderboard 提供了丰富的指标，用于全面评估模型性能。分类任务：关注准确率、F1 分数。生成任务：关注 BLEU、ROUGE、Perplexity。语音识别：关注 WER 指标。通过深入理解这些指标，你可以更好地优化模型并参与排行榜竞赛。作者：赵大仁CSDN 博客赵大仁的CSDN主页日期。
告别选择题：Open-LLM-Leaderboard 用开放式问题评估大模型
步子哥的博客
06-12 1138
Open-LLM-Leaderboard 为LLM评估提供了一个新的视角，它利用开放式问题来评估模型的真实能力，并能有效地消除选择偏差和随机猜测问题。该框架的出现，为LLM评估提供了更准确、更全面的指标，也为未来LLM研究提供了新的方向。
Linux本地复现 open_llm_leaderboard 评测
weixin_43278082的博客
09-24 584
huggingface官方提供了大模型的评测体系，并在提供了运行评测的方法，可以在本地对自己的模型进行评测，得到各个指标的结果。
最全面的LLM评测平台大全：评测平台详解
Xtaiyang的博客
01-16 1238
在人工智能快速发展的今天，大语言模型（LLM）的性能评估变得越来越重要。本文为您整理了目前最具影响力的LLM评测平台，帮助您全面了解不同模型的优势和特点。无论您是AI研究者、开发者还是产品经理，这份指南都能为您提供有价值的参考，助您做出更明智的选择。
AI界“华山论剑“：12大热门LLM模型排行榜“出炉”
xx_nm98的博客
06-05 3047
提供摘要长度的统计平均值，以便分析模型输出的紧凑性或详尽性。对于未能直接在Hugging Face平台上获得的模型，尤其是GPT系列的变体，HHEM团队亲自介入进行评估，并将结果上传至排行榜，确保了评估覆盖的全面性和公正性。这一举措不仅促进了模型间性能的透明比较，也为研究者和开发者提供了宝贵的参考依据，帮助他们更好地理解和优化模型在生成摘要时的准确性与可靠性。
大模型榜单汇总整理
sexy19910923的博客
09-23 4783
大型语言模型（LLM）评估榜单提供了对不同模型性能的标准化比较，涵盖了从通用能力到特定领域应用的多个方面。这些榜单专注于评估模型在特定领域的应用能力，有助于开发者了解模型的优势和局限性，推动语言模型的发展和优化。
开源大语言模型排名，排名基于国外最公允的大模型排行榜
whisperzzza的博客
11-19 2051
大模型本身的能力横评主要通过基准测试和人类评估两种方式进行。基准测试，或称“考试模式”，其核心思路是通过一系列固定的问题来评估模型的性能，这些问题覆盖了数学、常识、逻辑推理等多个领域。常见的基准测试包括GSM-8K（侧重于基础算术能力）、MMLU（多任务多语言理解，测试广泛的知识面）、TheoremQA（专注于定理证明相关的数学问题）以及GPQA（广域问题回答，检验模型在不同领域的知识深度）。
开放医学LLM排行榜：对医疗保健领域的大型语言模型进行基准测试LLM Medical Benchmark
强化学习曾小健
07-08 1306
它是医学模型、数据集、基准和跟踪会议截止日期的中心枢纽，促进了人工智能辅助医疗保健领域的合作、创新和进步。此外，随着电子健康记录 (EHR)、医学文献和患者生成的数据的指数级增长，LLM 可以帮助医疗保健专业人员提取有价值的见解并做出明智的决策。它不促进这些模型的分发、部署或临床使用。评估完成后，您的模型的得分将添加到排行榜中，以便您将其表现与其他提交的模型进行比较。如果您对人工智能与医疗保健的交叉点充满热情，对为医疗保健领域构建模型充满热情，并且关心医学法学硕士的安全和幻觉问题，我们邀请您加入我们。
LLM大模型综述
热门推荐
zh515858237的专栏
01-10 3万+
LLM其实就是large language model，大语言模型。如果对“最终任务”进一步进行分类，又大致可以分为两大不同类型的任务：自然语言理解类任务和自然语言生成类任务。如果排除掉“中间任务”的话，典型的自然语言理解类任务包括文本分类、句子关系判断、情感倾向判断等，这种任务本质上都是分类任务，就是说输入一个句子（文章），或者两个句子，模型参考所有输入内容，最后给出属于哪个类别的判断。自然语言生成也包含很多NLP研究子方向，比如聊天机器人、机器翻译、文本摘要、问答系统等。
LLM模型中英文评测基准
dzysunshine的博客
07-06 2747
为推动LLM在医疗领域的发展和落地，华东师范大学王晓玲教授团队联合阿里巴巴天池平台，复旦大学附属华山医院，东北大学，哈尔滨工业大学（深圳），鹏城实验室与同济大学推出PromptCBLUE评测基准, 对CBLUE基准进行二次开发，将16种不同的医疗场景NLP任务全部转化为基于提示的语言生成任务,形成首个中文医疗场景的LLM评测基准。MMLU 是包含 57 个多选任务的英文评测数据集，涵盖了初等数学、美国历史、计算机科学、法律等，难度覆盖高中水平到专家水平，是目前主流的LLM评测数据集。
开源LLM微调训练指南：如何打造属于自己的LLM模型
FrenzyTechAI的博客
07-05 7434
今天我们来聊一聊关于LLM的微调训练，LLM应该算是目前当之无愧的最有影响力的AI技术。尽管它只是一个语言模型，但它具备理解和生成人类语言的能力，非常厉害！它可以革新各个行业，包括自然语言处理、机器翻译、内容创作和客户服务等，成为未来商业环境的重要组成部分。
具备超强多轮对话能力，南方科大开源SUS-Chat-34B模型，Open LLM Leaderboard领先
wisemodel的博客
12-20 586
在训练数据迭代的过程中，采用精细化的筛选方法，提炼出与模型能力最相关的数据子集，通过在百亿参数级别的模型上进行了快速多次实验，根据通用任务榜单的综合性能标准，确定了最优的数据分布。通过这种策略，模型能够更有效地学习和适应复杂的语言模式和指令，从而在各种评估中表现出更高的性能和更强的适应能力。这使得SUS-Chat-34B在多数指标，尤其是涉及数理逻辑的基准测试中，因为有更加正确的思考方式，指令对齐带来的模型性能降低的问题有所缓解，同时在部分基准测试中获得了相比于预训练模型Fewshot更高的得分。
6个最受欢迎的大模型本地运行工具
新缸中之脑
10-06 4838
运行大型语言模型 (LLM)（如 ChatGPT 和 Claude）通常涉及将数据发送到 OpenAI 和其他 AI 模型提供商管理的服务器。虽然这些服务是安全的，但一些企业更愿意将数据完全离线，以保护更大的隐私。本文介绍了开发人员可以用来在本地运行和测试 LLM 的六大工具，确保他们的数据永远不会离开他们的设备，类似于端到端加密保护隐私的方式。
第三十五篇-各大模型测评地址和说明集合
木卫二号的专栏
07-19 1883
llm任务进行基准测试，包括AI2推理挑战、HellaSwag、MMLU等。
AI大模型(LLM)、聊天机器人整理（持续更新）by pickmind
Find your love
09-11 974
汇总常见的AI LLM大模型排行榜。
LLM 评估汇总：真的吊打 LLaMA-3，媲美 GPT-4 吗？
python1234_的博客
06-03 1428
一、背景在过去的一年多里，国内在大模型领域的发展异常迅速，涌现出上百个大模型，许多模型已经迭代了多个版本，并且各种指标不断刷新。与此同时，我们也经常在国内的一些文章中看到声称“吊打 LLaMA 3”或“媲美 GPT-4”的说法。那么，国内的大模型真的已经达到对标 OpenAI 的水平了吗？实际上，由于大模型的评估指标种类繁多，各种文章中所对比的模型也不尽相同，甚至有时会出现一些误导信息。因此，我们决定系统性梳理一下公认性能较强的大模型的相关指标，以全面了解各种模型的能力。
llm 闭源开源大模型大全
最新发布
03-18
### 大规模语言模型分类 大规模语言模型可以根据其发布形式分为开源和闭源两类。以下是这两类中的代表性模型： #### 开源大规模语言模型 开源大模型因其透明性和可定制性受到广泛欢迎，许多知名模型都已公开其代码和权重文件供研究人员使用。 - **BERT系列**: BERT (Bidirectional Encoder Representations from Transformers) 是由谷歌发布的预训练语言表示模型，它通过双向Transformer架构实现了卓越的语言理解能力[^4]。 - **RoBERTa**: RoBERTa是由Facebook AI Research提出的改进版本的BERT，在多个下游任务上表现优于原始BERT，并且同样提供开源实现。 - **DistilBERT**: Hugging Face开发的一个轻量级版本的BERT，旨在减少计算资源消耗的同时保持较高的性能水平。 - **GPT-Neo/GPT-J**: EleutherAI团队基于GPT架构创建的一组大型生成式预训练变压器模型，其中部分参数量较大的模型也已经完全开放给公众下载与测试。 - **T5/MT5**: Google推出的文本到文本框架下的多功能序列转换器家族成员之一——Text-To-Text Transfer Transformer(T5)，以及它的多语言扩展版MT5均提供了详细的文档说明和支持材料以便于进一步探索和发展。 #### 闭源大规模语言模型 相比之下，一些企业出于保护知识产权或者追求更高效率的原因选择了不公布内部使用的具体算法结构及其完整的数据集信息。 - **GPT系列(GPT-3,GPT-4)**: OpenAI所研发的一系列强大的预测下一个单词的能力极强的人工神经网络系统，尽管它们本身并不对外分享全部源码及训练好的模型实例，但是仍然允许第三方付费调用API接口来完成特定应用场景的任务请求[^2]。 - **通义千问(Qwen)**: 阿里巴巴集团旗下的通义实验室自主研发并持续迭代升级的一款超大规模语言模型产品线，覆盖了从基础科研实验验证直至实际生产环境部署落地全流程服务链条上的各个环节需求点位安排设置考虑因素等方面内容介绍如下所示。 - **PaLM(PanGu Lion)**: 谷歌最新推出的一种具备极高推理能力和创造力属性特征体现出来的先进人工智能技术成果展示平台项目工程实施方案设计思路分析报告书正文主体部分内容要点总结归纳提炼概括描述如下图所示。 ```python # 示例：加载HuggingFace提供的预训练模型 from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-1.3B") model = AutoModelForCausalLM.from_pretrained("EleutherAI/gpt-neo-1.3B") text = "Replace me by any text you'd like." input_ids = tokenizer.encode(text, return_tensors='pt') output = model.generate(input_ids=input_ids, max_length=50) print(tokenizer.decode(output[0], skip_special_tokens=True)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

编程乐园

请我喝杯伯爵奶茶~！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值