【中文Llama-3】Chinese-LLaMA-Alpaca-3开源大模型项目正式发布

于 2024-05-09 22:19:30 发布
阅读量50 收藏
点赞数
分类专栏： 人工智能 文章标签： Chinese-LLaMA
原文链接：https://mp.weixin.qq.com/s?__biz=MzAwNTMxMzg1MA==&mid=2654099327&idx=8&sn=5a19e240ce399b7567298d640917a3bf&chksm=80d8732ab7affa3cab9fd0b22d3122d2b950246ff992be51a0a77c0128d16f6aa22eb5b56fea&mpshare=1&scene=23&srcid=0509ebFAxLSAkx5AmLbZjBWU&sharer_shareinf
版权

目录

Llama-3 简介

中文Llama-3

Llama-3生态支持

主观评价效果

客观评价效果

开源指令数据

中文羊驼大模型相关项目

 

图片

Chinese-LLaMA-Alpaca-3开源大模型项目正式发布，开源Llama-3-Chinese-8B（基座模型）和Llama-3-Chinese-8B-Instruct（指令/chat模型）。这些模型在原版Llama-3-8B的基础上使用了大规模中文数据进行增量预训练，并且利用高质量指令数据进行精调，进一步提升了中文基础语义和指令理解能力，相比一代和二代相关模型获得了显著性能提升。

相关模型已在🤗Hugging Face、🤖ModelScope、机器之心SOTA!社区、Gitee等平台同步上线。同步提供了GGUF量化版本模型（2bit~8bit），供用户快速便捷地体验相关模型。

项目地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca-3

Llama-3 简介

2024年4月19日，Meta发布了最新一代开源大模型Llama-3，其中包括两个模型大小：8B、70B，并在未来会进一步开放400B+模型。每个模型均包括基座模型Llama-3以及经过对齐的对话模型Llama-3-Instruct。这些模型相比Llama-2在多个评测集上获得了显著的性能提升。相比Llama-2的主要区别：

  • 词表大小：从32K提升至128K，并且使用了BPE词表

  • 训练数据量：由2T tokens大幅度提升至15T tokens

  • 上下文长度：由4096提升至8192

  • 全尺寸均使用了GQA（Grouped-Query Attention）技术以提升效率

图片

中文Llama-3

本项目推出了基于Llama-3开发的中文开源大模型Llama-3-Chinese和Llama-3-Chinese-Instruct，本次开源了8B模型版本。

  • Llama-3-Chinese-8B：基座模型，在Llama-3-8B上使用约120GB语料进行增量中文训练，与一期Plus系列模型、二期模型一致；

  • Llama-3-Chinese-8B-Instruct：指令/chat模型，在Llama-3-Chinese-8B的基础上进一步通过500万高质量指令进行精调获得。

本期模型与中文羊驼一期和二期相关模型最大的区别在于使用了原版Llama-3词表，而未对词表进行扩充。其中主要理由有以下几点：

  • Llama-3原生词表已从二代的32K提升至128K；

  • 通过在中文维基百科上的编码实验表明，Llama-3原生词表的中文编码效率相比其二代具有显著提升，其效率约为中文LLaMA-2词表（大小：55296）的95%，因此认为编码效率已不是主要瓶颈；

  • 结合我们在中文Mixtral大模型上的相关经验和实验结论，中文词表扩充并非大模型语言迁移的必要条件（见往期推送）

Llama-3生态支持

本项目相关模型已提供常见大模型生态的适配教程。用户可以快速使用熟悉的工具体验和部署大模型，其中包括：

  • llama.cpp：丰富的GGUF量化和高效本地推理

  • 🤗transformers：原生transformers推理

  • text-generation-webui：前端WebUI界面部署方式

  • LM Studio：多平台大模型聊天软件（含界面）

  • Ollama：本地运行大模型推理

  • 仿OpenAI API：可通过类似OpenAI API的形式部署服务

以及其他兼容Llama-3的相关工具。

主观评价效果

为了更加直观地了解模型的生成效果，本项目仿照Fastchat Chatbot Arena推出了模型在线对战平台，可浏览和评测模型回复质量。对战平台提供了胜率、Elo评分等评测指标，并且可以查看两两模型的对战胜率等结果。题库来自中文羊驼大模型相关项目人工制作的360题，涵盖10个大模型能力评测维度。

📊 模型在线对战：http://llm-arena.ymcui.com

以下是部分输出样例：

图片

 

客观评价效果

以下是部分客观评价结果。与中文Mixtral的实验观察一致，中文增量预训练并不会快速提升中文下游任务能力，而是在指令精调之后显现出相应的效果。在英文任务上，部分集合超过了原版模型的性能。详细结果请查阅项目主页。

图片

开源指令数据

除了开源模型之外，本项目还开源了部分指令数据，感兴趣的读者可访问项目主页进行下载。

  • alpaca_zh_51k：使用gpt-3.5翻译的Alpaca指令数据，共计51K条

  • stem_zh_instruction：使用gpt-3.5爬取的STEM指令数据，包含物理、化学、医学、生物学、地球科学，共计256K条

  • ruozhiba_gpt4_turbo：使用gpt-4-turbo-2024-04-09获取的ruozhiba问答数据，共计2449条

中文羊驼大模型相关项目

中文羊驼大模型一期项目（Chinese-LLaMA-Alpaca）

  • https://github.com/ymcui/Chinese-LLaMA-Alpaca

中文羊驼大模型二期项目（Chinese-LLaMA-Alpaca-2）

  • https://github.com/ymcui/Chinese-LLaMA-Alpaca-2

中文Mixtral大模型项目（Chinese-Mixtral）

  • https://github.com/ymcui/Chinese-Mixtral

引入地址 

寒冰屋
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Llama2-7B/13B chat模型（下载地址）.txt
08-14
•Llama2-7B官网版本 •Llama2-7B-Chat官网版本 •Llama2-13B官网版本 •Llama2-13B-Chat官网版本 •Llama2-7B Huggingface版本 •Llama2-7B-Chat Huggingface版本
LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-27 2106
​ LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略 目录 相关文章 Chinese-LLaMA-Alpaca的简介 Chinese-LLaMA-Alpaca的的安装 Chinese-LLaMA-Alpaca的的使用方法 相关文章 论文相关 LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA a
中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用
08-15 1386
“Meta 开源LLAMA2 后，国内出现了不少以此为基座模型训练的中文模型，这次我们来看看其中一个不错的中文模型：Chinese-LLaMA-Alpaca-2。”01—目前在开源大模型中，比较有名的是Meta的LLAMA模型系列和清华的ChatGLM模型。特别是在中文领域上，ChatGLM模型经过中文问答和对话的优化，更加符合中文使用者的偏好回答。我对ChatGLM比较关注，出来的时候就开...
【AI实战】从零开始搭建中文 LLaMA-33B 语言模型 Chinese-LLaMA-Alpaca-33B
Zack的博客
07-05 4143
从零开始搭建中文 LLaMA-33B 语言模型 Chinese-LLaMA-Alpaca-33B
中文版LLaMA：Chinese-LLaMA-Alpaca
u013250861的博客
06-12 1601
以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model, LLM）掀起了新一轮自然语言处理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到业界广泛关注。然而，由于大语言模型的训练和部署都极为昂贵，为构建透明且开放的学术研究造成了一定的阻碍。为了促进大模型在中文NLP社区的开放研究，本项目开源了。这些模型并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。
中文LLaMA&Alpaca大模型
08-24
本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模...
llama3-中文微调训练集，让llama3更懂中文
04-22
Llama-3是由Meta（Facebook）AI发布的最新一代大型语言模型。它具有两种参数规模：80亿（8B）和700亿（70B），并且还有一个超过4000亿参数的版本正在训练中。Llama-3在多个行业标准测试中展现了卓越的性能，特别是在...
chinese-llama-plus-lora-33b（2）
10-12
chinese-llama-plus-lora-33b（2）
算法部署-使用TensorRT-LLM部署llama大模型-毕业设计-附详细性能优化+分析+实现流程教程-优质大模型部署项目实战
03-06
算法部署_使用TensorRT-LLM部署llama大模型_毕业设计_附详细性能优化+分析+实现流程教程_优质大模型部署项目实战
grpcio-1.47.0-cp310-cp310-linux_armv7l.whl
05-22
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
小程序项目源码-美容预约小程序.zip
05-22
小程序项目源码-美容预约小程序小程序项目源码-美容预约小程序小程序项目源码-美容预约小程序小程序项目源码-美容预约小程序小程序项目源码-美容预约小程序小程序项目源码-美容预约小程序小程序项目源码-美容预约小程序小程序项目源码-美容预约小程序v
MobaXterm 工具
最新发布
05-22
MobaXterm 工具
grpcio-1.48.0-cp37-cp37m-linux_armv7l.whl
05-22
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
扁平风格PPT可修改ppt下载(11).zip
05-22
扁平风格PPT可修改ppt下载(11).zip
基于MATLAB实现的msk信号调制解调过程，包括发送端及接收端信号谱分析过程+使用说明文档.rar
05-22
CSDN IT狂飙上传的代码均可运行，功能ok的情况下才上传的，直接替换数据即可使用，小白也能轻松上手 【资源说明】 基于MATLAB实现的msk信号调制解调过程，包括发送端及接收端信号谱分析过程+使用说明文档.rar 1、代码压缩包内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2020b；若运行有误，根据提示GPT修改；若不会，私信博主（问题描述要详细）； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可后台私信博主； 4.1 期刊或参考文献复现 4.2 Matlab程序定制 4.3 科研合作 功率谱估计： 故障诊断分析： 雷达通信：雷达LFM、MIMO、成像、定位、干扰、检测、信号分析、脉冲压缩 滤波估计：SOC估计 目标定位：WSN定位、滤波跟踪、目标定位 生物电信号：肌电信号EMG、脑电信号EEG、心电信号ECG 通信系统：DOA估计、编码译码、变分模态分解、管道泄漏、滤波器、数字信号处理+传输+分析+去噪、数字信号调制、误码率、信号估计、DTMF、信号检测识别融合、LEACH协议、信号检测、水声通信 5、欢迎下载，沟通交流，互相学习，共同进步！
有色金属行业周报有色金属稳增长目标明确工业及贵金属价格普涨-19页.pdf.zip
05-22
有色金属行业周报有色金属稳增长目标明确工业及贵金属价格普涨-19页.pdf
Java_Tinker是Android的热修复解决方案库，它支持索引库和资源更新，无需重新安装apk.zip
05-22
Java_Tinker是Android的热修复解决方案库，它支持索引库和资源更新，无需重新安装apk
基于Python的联邦学习驾驶员状态分类设计源码
05-22
联邦学习驾驶员状态分类设计源码：该项目基于Python开发，包含20个文件，主要使用Python语言。该项目利用VGG19、efficientnet和Resnet50等深度学习模型对驾驶员状态数据集进行分类。近期工作中，项目加入了联邦学习的方法，引入了Shapley值和激励机制，以提高模型的准确性和鲁棒性。
Chinese-LLaMA-Plus
07-27
Chinese-LLaMA-Plus是一个中文语言模型，它是在中文LLaMA模型的基础上进行了扩充和改进。它使用了中文通用纯文本数据进行二次预训练，并且具有更大的模型大小。Chinese-LLaMA-Plus有多个版本，包括Chinese-LLaMA-Plus-7B和Chinese-LLaMA-Plus-13B，它们分别具有更大的训练数据和模型大小。这些模型可以用于各种自然语言处理任务，如文本生成、问答和对话交互。如果您对于ChatGPT对话交互有兴趣，建议使用Alpaca模型而不是LLaMA模型。 #### 引用[.reference_title] - *1* *3* [中文版LLaMA：Chinese-LLaMA-Alpaca](https://blog.csdn.net/u013250861/article/details/131160175)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [达到chatgpt 90%效果的llama，Chinese-Alpaca-Plus-13B合并使用全过程分享](https://blog.csdn.net/qq_39970492/article/details/131070115)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值