最新开源：开源大模型新王干翻GPT-4o；零一万物开源 Yi-Coder；第一个完全开源的MoE大模型...

最新推荐文章于 2024-10-12 17:19:59 发布

大靠山

最新推荐文章于 2024-10-12 17:19:59 发布

阅读量484

点赞数 5

文章标签：数据库开源深度学习人工智能机器学习

本文链接：https://blog.csdn.net/m0_59235245/article/details/142149491

版权

1.开源大模型的新王 Reflection 70B：性能吊打GPT-4？

刚刚，一个初创团队 HyperWrite 发布 Reflection 70B，成最顶级开源AI模型，横扫 MMLU、MATH、IFEval、GSM8K，在每项基准测试上都超过了 GPT-4o，还击败了 405B 的 Llama 3.1。

Reflection 70B 的独特之处在于其自我纠错技术。

Reflection 70B 使用一种称为 Reflection-Tuning 的全新技术进行训练，让AI学会在推理过程中纠正自己的错误和幻觉。

在官方评测中，Reflection 70B 模型全面超越最强开源Llama 3.1 405B、GPT-4o、Claude 3 Opus、Gemini 1.5 Pro，特别是数学基准GSM8K上直接刷爆，得分99.2%。

要知道，GSM8K 中可能有有超过 1% 的被标为正确的答案实际上有错，也就是说，Reflection 70B 的得分几乎与满分无异。

值得注意的还有 Reflection 70B 的零样本推理能力。面对从未接触过的内容，Reflection 70B 的表现超越了 Claude 3.5、Gemini 1.5 以及 Llama 405 在五次样本测试中的得分。

模型下载：https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B
试用网址：https://reflection-playground-production.up.railway.app/

Reflection-70B 的编码能力也得到了认证。有网友在 ProLLM 的编码辅助任务中对 Reflection-70B 进行了基准测试。它确实是_最好的开源模型之一，击败了 Llama-3.1 405B_。

2.零一万物开源 Yi-Coder 系列编程助手模型，支持 52 种编程语言

9 月 5 日，零一万物开源 Yi-Coder 代码生成系列模型，提供 1.5B 和 9B 两种参数，每种参数包含基础和聊天模型版本。其中**，Yi-Coder-9B** 的_表现优于其他 10B 参数以下的模型_，如 CodeQwen1.5 7B 和 CodeGeex4 9B，甚至能够与 DeepSeek-Coder 33B 相媲美。

Yi-Coder 支持128K上下文，适用于复杂项目级代码的理解和生成。

Yi-Coder 还支持 52 种主要编程语言，在代码生成和跨文件代码补全方面表现优异。

根据零一万物官方测试，Yi-Coder-9B-Chat 在 HumanEval 和 MBPP 的通过率分别达到了 85.4% 和 73.8%。此外，Yi-Coder 9B 在 CRUXEval-O 的准确率在开源 Coder 模型中首次达到了 50% 以上。

CodeEditorBench 涵盖了四个关键领域：代码调试、代码翻译、代码优化和代码需求转换。结果表明，在开源代码大语言模型中**，Yi-Coder-9B-Chat** 取得了优异的成绩，在 Primary 和 Plus 两个子集中始终优于 DeepSeek-Coder-33B-Instruct 和 CodeQwen1.5-7B-Chat。

3.Mini-Omni：首个开源实时语音交互多模态模型

一个强大的实时语音对话AI模型开源了！

Mini-Omni 是一个开源的多模态大语言模型，具备实时端到端的语音输入和流式音频输出对话能力，它可以在对话时“边思考边说”，实现文本与音频的同步生成。

为了实现这种能力，作者提出了一种文本指导的语音生成方法，以及推理过程中的批量并行策略，以进一步提升性能。Mini-Omni 是第一个完全端到端的开源实时语音交互模型，为未来的研究提供了宝贵的潜力。

模型下载：https://hf.co/gpt-omni/mini-omni
论文地址：https://hf.co/papers/2408.16725
代码仓库：https://github.com/gpt-omni/mini-omni

4.OLMoE：第一个完全开源的MoE大模型

OLMoE-1B-7B 是艾伦人工智能实验室开源的一个拥有 1B 活跃参数和 7B 总参数的MOE模型。该模型在1B参数量级中表现出色，并且在性能上与更大的模型（如 Llama2-13B、 DeepSeekMoE-16B）具有竞争力。OLMoE 完全开源，包括模型权重、代码、数据集等。

论文：OLMoE: Open Mixture-of-Experts Language Models

作者：Niklas Muennighoff, Luca Soldaini, Dirk Groeneveld, et al.
机构：艾伦人工智能研究院、 Contextual AI、华盛顿大学、普林斯顿大学
论文地址：https://arxiv.org/pdf/2409.02060
代码地址：https://github.com/allenai/OLMoE
模型下载：https://hf.co/allenai/OLMoE-1B-7B-0924

如图 1 所示，OLMoE-1B-7B 显著优于所有开源 1B 模型，并且与推理成本和内存存储明显更高的密集模型相比表现出了竞争力。

这篇论文提出了 OLMoE 模型_用于解决 MoE 模型在开放性和性能上的不足_。

具体来说：

模型架构：OLMoE 是一个解码器only的LM，由 NL transformer 层组成。密集模型中的前馈网络（FFN）被 MoE 模块替代，MoE 模块由多个较小的FFN模块（称为专家）组成，每个输入标记只激活其中的一个子集。

关键设计决策：

专家粒度：使用64个小专家，每层激活8个。
路由算法：采用无dropout的标记选择路由。
辅助损失：使用负载平衡损失（LLB）和路由器z损失（LRZ）来优化模型的训练。
数据集：使用DCLM和Dolma 1.7的数据集进行预训练，数据集包括Common Crawl、StarCoder、arXiv等。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述