AlpacaEval Leaderboard大模型排行榜

于 2024-03-08 14:50:55 发布
阅读量975 收藏 21
点赞数 16
分类专栏： 机器学习 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jailman/article/details/136562121
版权

在这里插入图片描述

参考

Model NameWin RateLength
GPT-4 Turbo 📄50.00%2049
Contextual AI (KTO-Mistral-PairRM) 📄33.23%2521
Yi 34B Chat 📄29.66%2123
Claude 3 Opus (02/29) 📄29.04%1388
Claude 3 Sonnet (02/29) 📄25.56%1420
GPT-4 📄23.58%1365
GPT-4 0314 📄22.07%1371
Mistral Medium 📄21.86%1500
Mistral Large (24/02) 📄21.44%1362
Mixtral 8x7B v0.1 📄18.26%1465
Claude 2 📄17.19%1069
Claude 📄16.99%1082
Tulu 2+DPO 70B 📄15.98%1418
GPT-4 0613 📄15.76%1140
Claude 2.1 📄15.73%1096
Mistral 7B v0.2 📄14.72%1676
GPT 3.5 Turbo 061314.13%1328
LLaMA2 Chat 70B 📄13.87%1790
Cohere Command 📄12.90%1983
Vicuna 33B v1.3 📄12.71%1479
OpenHermes-2.5-Mistral (7B) 📄10.34%1107
GPT 3.5 Turbo 0301 📄9.62%827
GPT 3.5 Turbo 1106 📄9.18%796
Phi-2 DPO 📄7.76%1687
LLaMA2 Chat 13B 📄7.70%1513
Vicuna 13B v1.3 📄7.14%1132
Gemma Instruct (7B) 📄6.94%1115
Guanaco 65B 📄6.86%1249
LLaMA 33B OASST RLHF 📄6.30%1079
WizardLM 13B 📄5.88%985
Vicuna 13B 📄5.83%1037
Nous Hermes 13B 📄5.41%844
Guanaco 33B 📄5.00%1311
LLaMA2 Chat 7B 📄4.96%1479
LLaMA 33B OASST SFT 📄4.77%748
Vicuna 7B v1.3 📄4.64%1110
Vicuna 7B 📄4.16%1044
Alpaca Farm PPO Human 7B 📄4.10%803
Phi-2 SFT 📄3.98%1068
Guanaco 13B 📄3.47%1774
Alpaca Farm PPO Sim (GPT-4) 7B 📄3.45%511
Gemma Instruct (2B) 📄3.40%1041
Falcon 40B Instruct 📄3.34%662
Guanaco 7B 📄2.88%1364
Davinci001 📄2.76%296
Alpaca 7B 📄2.59%396
Pythia 12B SFT 📄2.58%913
Falcon 7B Instruct 📄2.15%478
Pythia 12B OASST SFT 📄1.79%726
大囚长
关注
  • 16
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
leaderboard:排行榜快递mongodb
03-20
排行榜 排行榜快递mongodb
leaderboard:流星排行榜示例应用
07-12
排行榜 排行榜是一个简单的 MeteorJS 示例应用程序。 它具有帐户和实时数据同步功能。 访问并创建一个帐户。 创建一些用户并给出不同的分数（点击选择一个玩家）。 从另一个浏览器打开并登录到同一帐户。 当您在其中一个浏览器中更改分数时，观看两个浏览器中的视图实时更新。 下载并运行 git clone :niallobrien/leaderboard.git CD排行榜 流星 默认的 Autopublish & Insecure 包已被删除，因此客户端无法从浏览器修改数据库。 相反，客户端调用执行这些操作的服务器端方法。 享受。
bbtv-leaderboard:排行榜
07-01
需要 PHP 5.4 如何安装 ##克隆这个仓库 git clone [email protected]:colincalnan/bbtv-leaderboard.git ##安装所有必要的依赖项 bower install composer install 上传数据库 mysql -u username -ppassword databasename < leaderboard.sql 连接到数据库 重命名vendor/db-sample.php文件。 mv vendor/db-sample.php vendor/db.php 然后编辑该文件以正确设置您的数据库连接凭据。 开发者笔记 使用的工具/框架 角JS 我一开始想用 Laravel 来做这件事，但我等不及 Composer 运行了，它花了 45 多分钟，谷歌搜索这建议了一些修复，但我决定不去那个兔子洞。 所以我决定简化并使用
leaderboard:流星排行榜教程
06-20
排行榜 流星排行榜教程 这是一个流星项目。 用于学习 Meteor。 创建一个“排行榜”，列出球员的姓名和分数，允许任何球员加减 5 分 排名球员按分数。
斯坦福发布最新LLM排行榜AlpacaEval，微软WizardLM登顶开源模型第一
u012744245的博客
07-06 1209
根据 faldore 的介绍，他使用了 WizardLM 团队提供的原始训练脚本和未经过滤的数据集 ，在四块 A100 80GB 的显卡上训练了 36 小时和 60 小时，分别得到了 UNCENSORED WizardLM-7B 和 UNCENSORED WizardLM-13B 模型。之前，HuggingFace发布了个开源LLM的排行榜，主要是跟踪、排名和评估最新的大语言模型和聊天机器人，让所有人方便的观察到开源社区的进展和评估这些模型。但准确说，对于敏感问题的输出，用户具有所有权和控制权。
leaderboard:运动排行榜
07-14
#排行榜 工作正在进行中。 尝试创建一个漂亮且用户友好的运动排行榜。 这个想法来自在工作中玩的众多台球桌游戏，以获得某种排名。 排名将主要基于 内置 :red_heart: 和 AmpersandJS、Koa、RethinkDB、Redis。 ＃＃...
LLaMA3
whaosoft143ai的博客
06-29 362
注意 Chatbot 的 few-shot prompting 要用 dialog 的版本因为 single round 里塞很多 in-context example 模型可能不 instruction-following 不够强，见 CoT Hub 的 standard prompt library（https://github.com/FranxYao/chain-of-thought-hub/blob/main/spl/gsm8k/chat/few_shot_cot.chatml） whaosoft
Meta AI | 指令回译：如何从大量无标签文档挖掘高质量大模型训练数据？
代码讲故事
02-24 946
Meta AI | 指令回译：如何从大量无标签文档挖掘高质量大模型训练数据？ 文章来自Meta AI，self-Alignment with Instruction Backtranslation[1]：通过指令反向翻译进行自对准。 一种从互联网大量无标签数据中挖掘高质量的指令遵循数据集的方案，它利用少量种子数据，从大量互联网上无标签的数据，挖掘出大量高质量的、多样性也不错的训练数据，成功将llama（美洲驼）进化成Humpback（座头鲸）。
零一万物Yi-34B-Chat微调模型上线，登陆多个权威榜单
fengdu78的博客
12-12 88
转载自 | 机器之心编辑 | 泽南在盲测对比中也取得了好成绩。最近，业内众多大模型基准又迎来了一轮 “实力值” 更新。继 11 月初零一万物发布 Yi-34B 基座模型后，Yi-34B-Chat 微调模型在 11 月 24 日开源上线 ，短时间登陆了全球多个英文、中文大模型权威榜单，再度获得了全球开发者的关注。其中，在斯坦福大学提出的大语言模型评测基准 AlpacaEval 上，Yi-34B-Ch...
每日一看大模型新闻（2023.12.11-12.12）智谱AI推出中文大模型对齐评测基准AlignBench；OpenAI首席科学家论文获NeurIPS时间检验奖；2024年AI趋势看这张图
liuxiuxiu3的博客
01-29 987
由于像OpenAI和Google这样的公司变得越来越封闭，开源社区及其企业支持者Meta似乎正在缩小与专有模型的差距，使得生成式AI的访问更为民主化，这可能构成对专有模型商业模式的挑战。此前，曾向零一万物官方发邮件建议修改张量名称的Eric Hartford也在社交平台X上为其澄清，称零一万物“没有在任何事情上撒谎，他们从零开始使用自己创建的数据集训练Yi，对开源领域的贡献是值得赞扬的”。在全局方面，无需训练，它引入了流引导的递归潜传播模块，通过在整个序列中传播和融合潜信息来增强视频的整体稳定性。
关于16k分辨率和VR
热门推荐
神棍之路
07-18 1万+
研究显示人眼的分辨率为16K，只有在VR达到16K之后，人眼才察觉不到纱窗效应，其他视角和刷新频率不是我们讨论重点。 16k分辨率为15360*8640，约1.3亿像素。 如果是黑白二值图像，不压缩的情况下为1bit 如果是256种状态的灰度图像，一个像素是1Byte 如果用256种状态标识屏幕上某种颜色的灰度，而屏幕采用三基色红绿蓝（RGB），不压缩的情况下一个像素需要占用24bit（3字节）...
copilot现已加入您的vscode豪华套餐
神棍之路
08-16 4761
申请成功，等待测试！ https://copilot.github.com/
机器学习算法在游戏中的一些具体应用
神棍之路
05-13 1982
具体游戏场景中，可以有以下应用：机器学习可以应用在几个方面。第一个是创建NPC，有多种行为的NPC， NPC已经学习了很多人类行为，这会让与人类的交互更为自然。第二个是游戏本身。AI能够为优化玩家的乐趣进行学习，而不是为开发者的乐趣而进行优化。对于玩家来说，会有更多个性化和定制化的东西。第三个是一个完全不同的领域，就是我们用机器学习在游戏发布前测试游戏。确保使用agent代替人类玩家进行游戏时，你能够了解游戏是否能顺利进行。 此外，在游戏中如果人类玩家数量很少，就可以用agent代替人类玩家。最后一个方面是
AIOps常见问题
最新发布
神棍之路
03-06 1156
因此，可以说AIOps的agent已经成为一个全能的系统工具，它不仅是AIOps平台的数据源，也是AIOps平台的执行器和展示器，是实现智能运维的重要组成部分。当然，AIOps的agent还有很多的优化和创新的空间，比如如何提高agent的安全性、稳定性、兼容性、可扩展性等，这些都是AIOps的agent未来需要持续探索和解决的挑战。AIOps的agent是指部署在IT系统中的一种软件组件，它可以收集和传输各种类型的运维数据，如日志、指标、事件、配置、拓扑等，供AIOps平台进行分析和处理。
为什么AI越来越像玄学
神棍之路
02-22 956
毫无疑问，AI大模型的发展已经超出了人类的理解能力，我们把大模型称之为“黑箱”，甚至因sora引起了大佬之间的舌战，有人认为sora懂物理世界，有人认为sora只会预测token，修改像素，但是为什么一个大模型能够操纵像素生成如此复杂场景的视频依然令双方费解。
关于《人工智能法案》你应该知道的真相
神棍之路
02-04 923
人工智能法案》是欧盟的一项法规，旨在为人工智能引入一个共同的监管和法律框架，保障人类的安全、健康和基本权利，同时促进人工智能的创新和发展。该法案根据人工智能应用可能造成的风险，对其进行了不同的分类和监管，从禁止的行为、高风险系统，到有限风险和低风险的系统。该法案还建议成立欧盟人工智能委员会，以推动成员国之间的合作，并确保遵守相关法规。该法案于2021年4月21日由欧盟委员会提出，2023年6月14日获得欧盟通过，2023年12月8日与欧洲议会和欧盟成员国达成协议。
python贪吃蛇排行榜代码
05-24
以下是一个简单的Python贪吃蛇排行榜代码示例： ```python import pickle # 初始化排行榜 leaderboard = {} # 加载排行榜数据 try: with open("leaderboard.pickle", "rb") as f: leaderboard = pickle.load(f) except FileNotFoundError: pass # 添加新的分数到排行榜 def add_score_to_leaderboard(name, score): if name in leaderboard: leaderboard[name].append(score) else: leaderboard[name] = [score] # 保存排行榜数据 def save_leaderboard(): with open("leaderboard.pickle", "wb") as f: pickle.dump(leaderboard, f) # 打印排行榜 def print_leaderboard(): sorted_leaders = sorted(leaderboard.items(), key=lambda x: sum(x[1]), reverse=True) print("排行榜:") for i, leader in enumerate(sorted_leaders): print(f"{i+1}. {leader[0]}: {sum(leader[1])} 分") # 示例：添加新的分数到排行榜 add_score_to_leaderboard("Tom", 100) add_score_to_leaderboard("Jerry", 200) add_score_to_leaderboard("Tom", 50) add_score_to_leaderboard("Jerry", 150) # 示例：打印排行榜 print_leaderboard() # 示例：保存排行榜数据 save_leaderboard() ``` 这段代码使用pickle模块来序列化和反序列化Python对象，将排行榜数据保存在二进制文件中。它提供了三个函数来操作排行榜：add_score_to_leaderboard用于添加新分数到排行榜，print_leaderboard用于打印排行榜，save_leaderboard用于保存排行榜数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值