OpenBayes 一周速览丨大大大模型强势来袭！Mistral-Large-2、Llama-3.1-405B 现已可用

最新推荐文章于 2024-09-13 23:34:38 发布
最新推荐文章于 2024-09-13 23:34:38 发布
阅读量531 收藏 11
点赞数 6
分类专栏： 资源上新 文章标签： llama 人工智能 深度学习 数据集 Mistral 大模型 Meta
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/OpenBayes/article/details/140998590
版权

公共资源速递

This Weekly Snapshots ！

5 个模型：

* Mistral-Large-2

* Llama-3.1 系列

    * Llama-3.1-8B-Instruct

    * Llama-3.1-70B-Instruct

    * Llama-3.1-70B-Instruct-AWQ-INT4

    * Llama-3.1-405B-Instruct-AWQ-lNT4

  

2 个教程：

* 使用 Open WebUI 一键部署 Mistral Large 2 / Llama 3.1 405B

* 一键部署 Mistral Large 2 / Llama 3.1 405B 模型 OpenAI 兼容 API 服务

5 个数据集：

* Taptap reviews 游戏评论数据集

* TinyStories 短篇故事合成数据集

* CCPD Dataset 中国车牌检测数据集

* LAB Bench 生物学基准数据集

* NuminaMath-CoT 数学竞赛问题数据集

访问官网立即使用：openbayes.com

公共模型

1. Mistral-Large-2

该模型是 Mistral AI 发布的新一代旗舰 AI 模型 Mistral-Large-Instruct-2407-AWQ，拥有 123B 个参数，具备 128k 的上下文窗口，支持包括中文在内的数十种语言以及 80 多种编程语言，如 Python、Java、C、C++、JavaScript 和 Bash 等。在多语言能力、数学、推理、代码编写等方面都有显著提升，并在 MMLU 上的准确度达到了 84.0% 。

* 直接使用：

https://go.openbayes.com/quG7Y

2. Llama-3.1-8B-Instruct

该模型是 Meta 开源的 Llama-3.1 系列的 8B 参数大小指令调优版，适合在消费者级 GPU 上进行高效部署和开发。Llama 3.1 的新特点是指令模型在工具调用方面进行了微调，适用于 Agent 用例。

* 直接使用：

https://go.openbayes.com/ZwpAF

3. Llama-3.1-70B-Instruct

该模型是 Llama-3.1 系列的 70B 参数大小指令调优版模型，适合大规模 AI 原生应用。

* 直接使用：

https://go.openbayes.com/RV6AR

4. Llama-3.1-70B-Instruct-AWQ-INT4

该模型是 Llama-3.1 系列的 70B 参数大小指令调优版，并采用了 AWQ 量化技术，将模型的权重量化到 INT4 精度，在保持性能的同时减小模型大小，提高了推理速度。

* 直接使用：

https://go.openbayes.com/VY962

5. Llama-3.1-405B-Instruct-AWQ-lNT4

该模型是 Llama 3.1 系列大型语言模型中的 405B 参数大小指令调优版，并采用了 AWQ 量化技术，将模型的权重量化到 INT4 精度。它是当前最大的开源模型之一，支持多语言输入和输出，增强了模型的通用性和适用范围，同时引入了更长的上下文窗口，能够处理更复杂的任务和对话。

* 直接使用：

https://go.openbayes.com/lWtUz

📌 Tips：以上模型都可以在算力容器中一键 input，既不占用个人存储空间，又省去了上传下载的复杂流程。

公共教程

1. 使用 Open WebUI 一键部署 Mistral Large 2 / Llama 3.1 405B

该教程是使用 OpenWebUI 一键部署 Mistral Large 2 / Llama 3.1 405B，相关环境和配置已经搭建完成，只需克隆启动容器即可进行推理体验。

* 在线运行 Mistral Large 2 模型部署：

https://go.openbayes.com/jJIDR

* 在线运行 Llama 3.1 405B 模型部署：

https://go.openbayes.com/Qjurp

2. 一键部署 Mistral Large 2 / Llama 3.1 405B 模型 OpenAI 兼容 API 服务

该教程为使用 OpenAI 兼容 API 部署 Mistral Large 2 / Llama 3.1 405B。「OpenAI 兼容 API」意味着第三方开发者可以使用与 OpenAI 相同的请求和响应格式，将类似的功能集成到自己的应用程序中。启动该教程后可以在任何 OpenAI 兼容的 SDK 对该模型进行连接。

* 在线运行 Mistral Large 2 模型部署：

https://go.openbayes.com/on5iz

* 在线运行 Llama 3.1 405B 模型部署：

https://go.openbayes.com/pVjcV

为了方便大家的理解，我们录制了详细的操作视频，小白也可以快速上手！

【OpenBayes 官方教程】快速部署 Mistral-Large & Llama-3.1-405B 超大模型_哔哩哔哩_bilibili

公共数据集

1. Taptap reviews 游戏评论数据集

该数据集包含手游 App TapTap 上约 300 款游戏的标签评论，共 4,888 个数据示例。其中用户评论低于 3 星（最多 5 星）被视为 0（不满意），其他为 1（满意）。这两个类别的比例大约是 1:1，可用于情感分析的应用 。

* 直接使用：

https://go.openbayes.com/1jyEm

2. TinyStories 短篇故事合成数据集

该数据集是一个由 GPT-3.5 和 GPT-4 生成的短篇故事合成数据集，包含的词汇量限定在 3 至 4 岁儿童理解的范围内。它专为训练和评估小型语言模型而设计，旨在训练模型生成流畅、一致、多样化且语法近乎完美的短故事。

* 直接使用：

https://go.openbayes.com/4rMUc

3. CCPD Dataset 中国车牌检测数据集

该数据集主要在中国合肥市的停车场采集得到，包含了多种复杂环境下的车牌照片，例如模糊、倾斜、阴雨天和雪天等，使得数据集在车牌识别任务中更具挑战性。数据集分为两个部分，CCPD 2019 和 CCPD 2020，其中 CCPD 2019 包含普通车牌（蓝色车牌），而 CCPD 2020 则包含新能源车牌（绿色车牌）。

* 直接使用：

https://go.openbayes.com/vGRJD

4. LAB Bench 语言模型生物学基准数据集

该数据集包含 2,400 多道选择题，用于评估人工智能系统在一系列实用生物学研究能力方面的表现，包括文献检索和推理能力、数据解读能力、接入和导航数据库的能力、理解控制 DNA 以及蛋白质序列的能力等等。

* 直接使用：

https://go.openbayes.com/CaErP

5. NuminaMath-CoT 数学竞赛问题数据集

该数据集是 AI-MO 于 2024 年提出，包含 860k+ 数学竞赛问题-解答对，每个解答都使用了思维链 (Chain of Thought, CoT) 推理模板。数据集的来源包括中国高中数学练习题、美国和国际数学奥林匹克竞赛题。数据主要收集自在线试卷 PDF 和数学讨论论坛。

* 直接使用：

https://go.openbayes.com/rzGow

以上就是小贝上周在 OpenBayes 的全部更新内容啦~

小贝还建立了「Stable Diffusion 教程交流群」，欢迎小伙伴们入群探讨各类技术问题、分享应用效果~扫描下方二维码添加小贝总微信（微信号：OpenBayes001），备注「SD 教程交流」，即可加入群聊。

此外，OpenBayes 平台还提供超过 500 个精选公共数据集、模型、教程等优质资源，并已经整合到「公共资源」模块中。OpenBayes 平台支持一键 Input，开箱即用！

OpenBayes
关注
专栏目录
mistral-7b-openorca.Q4-0.zip - 1
11-13
使用方式与其他分卷压缩文件参见： https://blog.csdn.net/qq_32596527/article/details/134382867
mistral-7b-openorca.Q4-0.zip - 4
11-13
使用方式与其他分卷压缩文件参见： https://blog.csdn.net/qq_32596527/article/details/134382867
Firefly: 大模型训练工具，支持训练Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM
08-19
Firefly 是一个开源的大模型训练项目，支持对主流的大模型进行预训练、指令微调和DPO，包括但不限于Qwen2、Yi-1.5、Llama3、Gemma、Qwen1.5、MiniCPM、Llama、InternLM、Baichuan、ChatGLM、Yi、Deepseek、Qwen、...
Llama3模型+Windows本地运行软件（下载地址）
05-20
Meta放出Llama3模型了，也应该是这段时间里的一个科技大新闻了。 Llama一直都是开源大语言模型的领头羊驼。 而Llama3又是所有羊驼中最新的领头羊。 可以简单地来看一下官方的对比数据。 下面是Llama3和谷歌...
PyPI 官网下载 | mistral-5.2.2-py2-none-any.whl
02-07
**PyPI 官网下载 | mistral-5.2.2-py2-none-any.whl** 在Python开发中，PyPI（Python Package Index）是官方的第三方Python软件包仓库，它为开发者提供了一个集中发布和分发Python模块的平台。`mistral-5.2.2-py2-...
大模型入门3:理解LLAMA
yuetan的博客
09-13 181
【代码】大模型入门3:理解LLAMA。
本地部署Llama 3.1大模型
崎山小鹿的专栏
09-10 1162
Meta推出的Llama 3.1系列包括80亿、700亿、4050亿参数版本，上下文长度扩展至12.8万tokens，并增加了对八种语言的支持。 部署模型需要用到Ollama的一个工具，访问官方网站
使用 PyTorch 从头开始​​构建您自己的 Llama 3 架构
因为无知，所以奋斗！
09-13 1001
Llama 3 及其其他变体是目前 LLM 领域最流行的开源 LLM。我相信从头开始构建 Llama 3 的能力为构建许多新的令人兴奋的基于 LLM 的应用程序提供了所有必要的基础。我坚信知识应该对所有人免费。请随意使用源代码并更新它来构建您的个人或专业项目。祝大家好运。参考/wp:list。
小琳AI课堂：LLaMA 3.1 开源大模型的全新里程碑
wx740851326的博客
09-12 469
本期的小琳AI课堂就到这里，希望对大家有所启发和帮助！如果对LLaMA模型还有更多的好奇和问题，欢迎继续提问哦！🌈👋。
使用 Elastic 和 LM Studio 的 Herding Llama 3.1
Elastic 中国社区官方博客
09-13 497
最新的 LM Studio 0.3 更新使 Elastic 的安全 AI Assistant 能够更轻松、更快速地与 LM Studio 托管模型一起运行。在这篇博客中，Elastic 和 LM Studio 团队将向你展示如何在几分钟内开始使用。如果你在同一网络上或在你的机器上本地工作，则不再需要设置代理。
大模型——LLaVA和LLaMA的介绍和区别
最新发布
Williamcsj的博客
09-13 158
大模型——LLaVA和LLaMA的介绍和区别
使用 BentoML快速实现Llama-3推理服务
CSDNDN的博客
09-08 1176
本教程手把手的演示了一遍怎么快速的使用一个开源大模型进行推理，通过使用BentoML这一强大的工具。BentoML不仅简化了模型部署过程，还提供了便捷的API接口，使得开发者能够轻松地将大模型集成到各种应用场景中。这种快速部署和使用的方法，为大模型的广泛应用铺平了道路，让更多人能够享受到人工智能带来的便利。然而，尽管BentoML大大简化了大模型的部署和使用流程，我们仍需要注意一些关键点。首先，选择合适的硬件资源至关重要，这直接影响到模型的运行效率和响应速度。
LLaMA-Factory QuickStart
人工智能讲师分享前沿技术
09-13 704
数据集的格式要求在不同的阶段是不同的，本教程以sft阶段的数据集需求，将以系统自带的identity数据集和将自定义的一个商品文案生成数据集为例，介绍数据集的使用。更多详情可以在中找到相关解释。系统目前支持alpaca和sharegpt两种数据格式，以alpaca为例，整个数据集是一个json对象的list，具体数据格式为"instruction": "用户指令（必填）","input": "用户输入（选填）","output": "模型回答（必填）","system": "系统提示词（选填）",
11、LLaMA-Factory自定义数据集微调
Andy_shenzl的博客
09-06 1151
针对实际的微调需求，使用专门针对业务垂直领域的私有数据进行大模型微调才是我们需要做的。因此，我们需要探讨如何在LLaMA-Factory项目及上述创建的微调流程中引入自定义数据集进行微调。alpaca和sharegpt。
Llama 3.1 大模型指令微调提升中文能力
听雨草堂
09-12 134
Llama 3.1 是一个通用的大型语言模型，尽管它在多种语言上进行了训练，但在某些特定语言（如中文）上的表现可能不如专门针对该语言进行优化的模型。通过指令微调，可以提高模型在处理中文文本时的理解和生成能力。对于某些领域（如医疗、法律、科技等），可能存在大量的中文专业术语和特定表达。通过指令精调，可以让模型更好地理解和生成这些领域的中文内容。通用大模型Llama 3.1 在中文评测数据集C-Eval、CMMLU 上表现不佳，通过精调可以针对特定任务进行优化，提升模型在这些任务上的性能。
使用 Milvus、vLLM 和 Llama 3.1 搭建 RAG 应用
ZILLIZ
09-11 460
vLLM 是一个简单易用的 LLM 推理服务库。加州大学伯克利分校于 2024 年 7 月将 vLLM 作为孵化项目正式捐赠给 LF AI & Data Foundation 基金会。欢迎 vLLM 加入 LF AI & Data 大家庭！????在主流的 AI 应用架构中，大语言模型（LLM）通常与向量数据库配套使用，用于构建检索增强生成（RAG）应用，从而解决 AI 幻觉问题。本文将...
Llama 3.1大模型的预训练和后训练范式解析
qianggezhishen的专栏
09-06 871
Meta的Llama大型语言模型每次出新版本，都会是一大事件。前段时间他们不仅发布了3.1的一个超大型的405亿参数模型，还对之前的8亿和70亿参数的模型做了升级，让它们在MMLU测试中的表现更好了。不同模型在MMLU基准测试中的表现他们还出了一个92页的技术报告《Llama 3 Herd of Models》（https://arxiv.org/abs/2407.21783），里面详细介绍了这些模型。
源码编译llama.cpp 、ggml 后端启用自定义BLAS加速
TuringEvo专栏
09-12 412
625我这以编译 windows on arm 的 llama.cpp 、ggml 为例子，其它情况同样可以参考我的文章《源码编译 openblas for windows on arm》我用了自己编译的这个 openblas。
Llama Factory ：百种以上语言模型的统一高效微调框架
人工智能讲师分享前沿技术
09-10 2060
人工智能咨询培训老师叶梓 转载标明出处大模型适应到特定下游任务时，传统的全参数微调方法成本高昂，因此，研究者们一直在探索更高效的微调技术。由北京航空航天大学和北京大学的研究团队提出了一个名为Llama Factory的统一框架，旨在解决大模型高效微调的问题。该框架整合了一系列前沿的高效训练方法，使用户能够灵活地定制100多种大模型的微调过程，而无需编写代码。通过内置的Web用户界面Llama board，用户可以轻松地进行模型微调和监控训练状态。
mistral-7B欧洲开源大模型
06-07
Mistral-7B是欧洲的一个自然语言处理领域的开源大模型，它是基于transformer模型架构构建的。该模型使用了超过1.7亿个参数进行训练，可以用于多种NLP任务，如文本分类、命名实体识别、语义角色标注等。该模型在多项NLP任务上的表现都非常出色，并且其开源的特点也使得它非常具有吸引力。此外，该模型还提供了多种语言版本，包括英语、法语、德语、西班牙语等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值