【中文Llama-3】Chinese-LLaMA-Alpaca-3开源大模型项目正式发布

最新推荐文章于 2024-08-08 07:35:09 发布
最新推荐文章于 2024-08-08 07:35:09 发布
阅读量711 收藏
点赞数
分类专栏： 人工智能 文章标签： Chinese-LLaMA
原文链接：https://mp.weixin.qq.com/s?__biz=MzAwNTMxMzg1MA==&mid=2654099327&idx=8&sn=5a19e240ce399b7567298d640917a3bf&chksm=80d8732ab7affa3cab9fd0b22d3122d2b950246ff992be51a0a77c0128d16f6aa22eb5b56fea&mpshare=1&scene=23&srcid=0509ebFAxLSAkx5AmLbZjBWU&sharer_shareinf
版权

目录

Llama-3 简介

中文Llama-3

Llama-3生态支持

主观评价效果

客观评价效果

开源指令数据

中文羊驼大模型相关项目

 

图片

Chinese-LLaMA-Alpaca-3开源大模型项目正式发布，开源Llama-3-Chinese-8B（基座模型）和Llama-3-Chinese-8B-Instruct（指令/chat模型）。这些模型在原版Llama-3-8B的基础上使用了大规模中文数据进行增量预训练，并且利用高质量指令数据进行精调，进一步提升了中文基础语义和指令理解能力，相比一代和二代相关模型获得了显著性能提升。

相关模型已在🤗Hugging Face、🤖ModelScope、机器之心SOTA!社区、Gitee等平台同步上线。同步提供了GGUF量化版本模型（2bit~8bit），供用户快速便捷地体验相关模型。

项目地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca-3

Llama-3 简介

2024年4月19日，Meta发布了最新一代开源大模型Llama-3，其中包括两个模型大小：8B、70B，并在未来会进一步开放400B+模型。每个模型均包括基座模型Llama-3以及经过对齐的对话模型Llama-3-Instruct。这些模型相比Llama-2在多个评测集上获得了显著的性能提升。相比Llama-2的主要区别：

  • 词表大小：从32K提升至128K，并且使用了BPE词表

  • 训练数据量：由2T tokens大幅度提升至15T tokens

  • 上下文长度：由4096提升至8192

  • 全尺寸均使用了GQA（Grouped-Query Attention）技术以提升效率

图片

中文Llama-3

本项目推出了基于Llama-3开发的中文开源大模型Llama-3-Chinese和Llama-3-Chinese-Instruct，本次开源了8B模型版本。

  • Llama-3-Chinese-8B：基座模型，在Llama-3-8B上使用约120GB语料进行增量中文训练，与一期Plus系列模型、二期模型一致；

  • Llama-3-Chinese-8B-Instruct：指令/chat模型，在Llama-3-Chinese-8B的基础上进一步通过500万高质量指令进行精调获得。

本期模型与中文羊驼一期和二期相关模型最大的区别在于使用了原版Llama-3词表，而未对词表进行扩充。其中主要理由有以下几点：

  • Llama-3原生词表已从二代的32K提升至128K；

  • 通过在中文维基百科上的编码实验表明，Llama-3原生词表的中文编码效率相比其二代具有显著提升，其效率约为中文LLaMA-2词表（大小：55296）的95%，因此认为编码效率已不是主要瓶颈；

  • 结合我们在中文Mixtral大模型上的相关经验和实验结论，中文词表扩充并非大模型语言迁移的必要条件（见往期推送）

Llama-3生态支持

本项目相关模型已提供常见大模型生态的适配教程。用户可以快速使用熟悉的工具体验和部署大模型，其中包括：

  • llama.cpp：丰富的GGUF量化和高效本地推理

  • 🤗transformers：原生transformers推理

  • text-generation-webui：前端WebUI界面部署方式

  • LM Studio：多平台大模型聊天软件（含界面）

  • Ollama：本地运行大模型推理

  • 仿OpenAI API：可通过类似OpenAI API的形式部署服务

以及其他兼容Llama-3的相关工具。

主观评价效果

为了更加直观地了解模型的生成效果，本项目仿照Fastchat Chatbot Arena推出了模型在线对战平台，可浏览和评测模型回复质量。对战平台提供了胜率、Elo评分等评测指标，并且可以查看两两模型的对战胜率等结果。题库来自中文羊驼大模型相关项目人工制作的360题，涵盖10个大模型能力评测维度。

📊 模型在线对战：http://llm-arena.ymcui.com

以下是部分输出样例：

图片

 

客观评价效果

以下是部分客观评价结果。与中文Mixtral的实验观察一致，中文增量预训练并不会快速提升中文下游任务能力，而是在指令精调之后显现出相应的效果。在英文任务上，部分集合超过了原版模型的性能。详细结果请查阅项目主页。

图片

开源指令数据

除了开源模型之外，本项目还开源了部分指令数据，感兴趣的读者可访问项目主页进行下载。

  • alpaca_zh_51k：使用gpt-3.5翻译的Alpaca指令数据，共计51K条

  • stem_zh_instruction：使用gpt-3.5爬取的STEM指令数据，包含物理、化学、医学、生物学、地球科学，共计256K条

  • ruozhiba_gpt4_turbo：使用gpt-4-turbo-2024-04-09获取的ruozhiba问答数据，共计2449条

中文羊驼大模型相关项目

中文羊驼大模型一期项目（Chinese-LLaMA-Alpaca）

  • https://github.com/ymcui/Chinese-LLaMA-Alpaca

中文羊驼大模型二期项目（Chinese-LLaMA-Alpaca-2）

  • https://github.com/ymcui/Chinese-LLaMA-Alpaca-2

中文Mixtral大模型项目（Chinese-Mixtral）

  • https://github.com/ymcui/Chinese-Mixtral

引入地址 

寒冰屋
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
中文版LLaMA：Chinese-LLaMA-Alpaca
u013250861的博客
06-12 1751
以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model, LLM）掀起了新一轮自然语言处理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到业界广泛关注。然而，由于大语言模型的训练和部署都极为昂贵，为构建透明且开放的学术研究造成了一定的阻碍。为了促进大模型在中文NLP社区的开放研究，本项目开源了。这些模型并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。
LLM-LLaMA中文衍生模型：Chinese-LLaMA-Alpaca【扩充词表、Lora部分参数预训练、微调】
u013250861的博客
06-25 1000
前面提到LoRA模型无法单独使用，必须与原版LLaMA进行合并才能转为完整模型，以便进行模型推理、量化或者进一步训练。有些地方称为30B，实际上是Facebook在发布模型时写错了，论文里仍然写的是33B。中文LLaMA模型在原版的基础上扩充了中文词表，使用了中文通用纯文本数据进行二次预训练。经过重构后的模型大小比同等量级的原版LLaMA大一些（主要因为扩充了词表）。下载后务必检查压缩包中模型文件的SHA256是否一致，请查看。具体内容请参考本项目 >>>具体内容请参考本项目 >>>
探索中文智能的未来：Chinese-LLaMA-Alpaca-3 项目深度解析
gitblog_00031的博客
08-08 886
探索中文智能的未来：Chinese-LLaMA-Alpaca-3 项目深度解析 Chinese-LLaMA-Alpacaymcui/Chinese-LLaMA-Alpaca 是一个基于 LLaMA 的中文自然语言处理模型。适合在自然语言处理、机器学习和人工智能领域中使用，进行中文文本的分析、生成和翻译等任务。特点是提供了高效的中文 NLP 算法、易于使用的 API 和多种应用场景的支持。项目地址...
ollama部署体验Chinese-LLaMA-Alpaca-3大模型项目
nlpstarter的博客
05-15 2162
使用Chinese-LLaMA-Alpaca-3项目中的模型，利用ollama进行了部署体验。
一键部署LLaMA 3 Chinese Chat，含中文训练数据集；Food2K数据集下载，含2千类别，100万张图片...
HyperAI超神经
06-03 3005
前段时间 Llama 3 的重磅开源让 AI 圈的众人都兴奋了一把，但它对纯中文的支持不是很好，不能灵活地根据中文提问切换至相应语言进行回答。hyper.ai 本周上线了Llama 3 中文版——LlaMA 3 Chinese Chat 的部署推理教程，有效解决了「中文问题英文回复」的尴尬，让对话更加自然流畅。教程已经将模型与环境部署完毕，只需打开 API 地址即可推理体验！等不及了，我要试试????...
最强开源大模型Llama-3中文特别版来了！
05-01 728
llama3-Chinese-chat”是一个由开发者Ke Bai创建的GitHub项，这个项目基于Meta的Llama-3-8B-Instruct模型进行了微调，专门优化了中文处理的效果。最近，Meta公司再次引起了技术界的广泛关注，他们推出了新一代开源大模型——Llama 3，这个模型不仅提高了技术的可访问性，也为AI的未来开辟了新的道路。Llama 3在发布时包括了两个版本，8B和70B，这两个模型的规模巨大，性能强大，分别对标业界的顶尖AI模型。加载成功后，项目会自动打开浏览器加载主界面。
LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-27 2795
​ LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略 目录 相关文章 Chinese-LLaMA-Alpaca的简介 Chinese-LLaMA-Alpaca的的安装 Chinese-LLaMA-Alpaca的的使用方法 相关文章 论文相关 LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA a
【AI实战】快速搭建中文 Alpaca 33B 大模型 Chinese-Alpaca-33B
Zack的博客
07-06 862
中文 33B 大模型 Chinese-Alpaca-33B
中文LLaMA&Alpaca大模型
08-24
本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模...
llama3-中文微调训练集，让llama3更懂中文
04-22
Llama-3是由Meta（Facebook）AI发布的最新一代大型语言模型。它具有两种参数规模：80亿（8B）和700亿（70B），并且还有一个超过4000亿参数的版本正在训练中。Llama-3在多个行业标准测试中展现了卓越的性能，特别是在...
AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型
mrbone11的博客
04-21 958
本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升项目地址https://github.com/ymcui/Chinese-LLaMA-Alpaca-2。
“开启中文智能之旅：探秘超乎想象的 Llama2-Chinese 大模型世界”
丨汀、的博客
10-11 1211
“开启中文智能之旅：探秘超乎想象的 Llama2-Chinese 大模型世界”
ubuntu 本地部署体验Llama3的中文微调模型Llama3-Chinese-8B-Instruct
huachangzai的博客
05-09 2487
ubuntu 本地部署体验Llama3的中文微调模型Llama3-Chinese-8B-Instruct
Llama3中文微调模型-Llama3-Chinese-8B-Instruct概述
ASS-ASH的博客
04-24 5711
Llama3的最大模型参数规模达到了惊人的400B。），8B模型和70B模型全系列都采用了GQA，GQA通过将查询分成不同的部分并给予它们不同的重点来理解查询的层次结构，这有助于系统更好地理解复杂问题并找到更相关的信息。通过LoRA微调，我们不仅保留了Llama3模型在预训练阶段获得的知识，还通过针对性的架构调整和参数优化，进一步提升了模型对中文语境的适应性和任务执行的准确性。这一过程中，我们特别注重了超参数的精细调整，并通过反复的模型评估与迭代，确保了微调后的模型能够在实际应用中稳定地提供高质量的输出。
最近，大模型岗位爆了。。。
2301_82275412的博客
04-29 738
重磅消息，国资委打响了国内AI第一枪！这意味着传统行业又迎来了一次大洗牌，现在国内头部人工智能公司已经开始用AI数字人助力各行各业，。除此之外，知名大厂也都在布局AI市场。懂的程序员年薪已经翻到风口之下，与其焦虑被行业淘汰，不如先人一步掌握 AI 大模型技术。为帮助大家提升竞争力，为了帮助普通程序员享受时代红利，掌控AI大模型技术，成为超级个体，给大家带来了AI大模型全套资料。
监理内业资料和表格使用（83页）.doc
最新发布
08-31
监理内业资料和表格使用（83页）.doc
SQLAlchemy-2.0.31-cp37-cp37m-win_amd64.whl
08-31
SQLAlchemy 是一个 SQL 工具包和对象关系映射（ORM）库，用于 Python 编程语言。它提供了一个高级的 SQL 工具和对象关系映射工具，允许开发者以 Python 类和对象的形式操作数据库，而无需编写大量的 SQL 语句。SQLAlchemy 建立在 DBAPI 之上，支持多种数据库后端，如 SQLite, MySQL, PostgreSQL 等。 SQLAlchemy 的核心功能： 对象关系映射（ORM）： SQLAlchemy 允许开发者使用 Python 类来表示数据库表，使用类的实例表示表中的行。 开发者可以定义类之间的关系（如一对多、多对多），SQLAlchemy 会自动处理这些关系在数据库中的映射。 通过 ORM，开发者可以像操作 Python 对象一样操作数据库，这大大简化了数据库操作的复杂性。 表达式语言： SQLAlchemy 提供了一个丰富的 SQL 表达式语言，允许开发者以 Python 表达式的方式编写复杂的 SQL 查询。 表达式语言提供了对 SQL 语句的灵活控制，同时保持了代码的可读性和可维护性。 数据库引擎和连接池： SQLAlchemy 支持多种数据库后端，并且为每种后端提供了对应的数据库引擎。 它还提供了连接池管理功能，以优化数据库连接的创建、使用和释放。 会话管理： SQLAlchemy 使用会话（Session）来管理对象的持久化状态。 会话提供了一个工作单元（unit of work）和身份映射（identity map）的概念，使得对象的状态管理和查询更加高效。 事件系统： SQLAlchemy 提供了一个事件系统，允许开发者在 ORM 的各个生命周期阶段插入自定义的钩子函数。 这使得开发者可以在对象加载、修改、删除等操作时执行额外的逻辑。
llama3-8b-chinese-chat llama3-
08-01
"llama3-8b-chinese-chat"这个组合似乎像是一个特定版本或者项目的命名，其中“llama3”可能是一个基础项目名或者平台，接着是“-8b-”这部分，可能代表了第8版或者包含某种特定功能或配置（如8位元版本），最后加上“Chinese-chat”，意味着这个项目或者应用是针对中文聊天的。这可能是一款人工智能聊天机器人，特别是考虑到有“Chat”一词在里面。 然而，由于缺乏详细的上下文信息，这只是一种推测。真正的含义可能会依据于开发者、社区或者特定领域的知识。如果你想知道它是哪个软件或者技术的具体内容，可能需要查看相关的文档或者搜索更多信息来源。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值