【人工智能LLM】开源 LLM 大模型汇总以及微调策略

目录

• 前言
• LLaMA

• * [stanford Alpaca](https://blog.csdn.net/qq_36287702/article/details/131138356#stanford_Alpaca_11 "stanford Alpaca")
  

  • Guanaco
  • Vicuna
  • Chinese-LLaMA-Alpaca
  • Chinese-Vicuna
  • Luotuo-Chinese
• Falcon

• * [OpenBuddy-Falcon](https://blog.csdn.net/qq_36287702/article/details/131138356#OpenBuddyFalcon_53 "OpenBuddy-Falcon")
  

• ChatGLM && VisualGLM
• MOSS
• Aquila
• PandaGPT
• TigerBot
• 模型微调策略

• * [LoRA](https://blog.csdn.net/qq_36287702/article/details/131138356#LoRA_92 "LoRA")
  

  • QLORA
  • P-tuningv2

前言

自从ChatGPT出世以来，各个大厂/研究院都纷纷推出自己的大模型，大模型领域发展一日千里。随着“百模大战”热度的降低，有必要梳理一下目前主流的大模型以及其变种模型，为大家梳理一下当前开源模型的工作。

LLaMA

GitHub地址：
GitHub - facebookresearch/llama: Inference code for LLaMA
models
LLaMA是由meta2023年推出的大模型，包含了7B、13B、30B、65B，随着“被开源”成为了开源模型的主力，高校/开源社区纷纷推出基于LLaMA二次训练的模型。

stanford Alpaca

GitHub地址：
[GitHub - tatsu-lab/stanford_alpaca: Code and documentation to train
Stanford’s Alpaca models, and generate the data.](https://github.com/tatsu-
lab/stanford_alpaca “GitHub - tatsu-lab/stanford_alpaca: Code and
documentation to train Stanford’s Alpaca models, and generate the data.”)
stanford大学利用ChatGPT API花费不到500美元低成本获取指令数据集。

Guanaco

GitHub地址：
[GitHub - Guanaco-Model/Guanaco-Model.github.io](https://github.com/Guanaco-
Model/Guanaco-Model.github.io “GitHub - Guanaco-Model/Guanaco-
Model.github.io”)
Guanaco是一个基于Meta的LLaMA
7B模型构建的高级指令遵循语言模型。在 Alpaca 模型最初的 52K 数据集的基础上，又合并了 534,530
个条目，涵盖英语、简体中文、繁体中文（台湾）、繁体中文（香港）、日语、德语以及各种语言和语法任务。这些丰富的数据使Guanaco能够在多语言环境中表现出色。

Vicuna

GitHub地址：
GitHub - lm-sys/FastChat: An open platform for training, serving, and
evaluating large language models. Release repo for Vicuna and
FastChat-T5.
UC伯克利联手CMU、斯坦福、UCSD和MDZUAI推出的大模型，通过ShareGPT收集的用户共享对话在LLaMA进行微调训练而来，训练成本近300美元。
一般来说，vicuna不能直接获取，需要LLaMA原模型权重和delate权重合并获取，由于LLaMA原权重下载不是很方便，所以我上传了合并后的模型权重。
ls291/vicuna-13b-v1.1 · Hugging
Face

Chinese-LLaMA-Alpaca

GitHub地址：
GitHub - ymcui/Chinese-LLaMA-Alpaca: 中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署
(Chinese LLaMA & Alpaca LLMs)
该项目开源了中文LLaMA模型和指令精调的Alpaca大模型。这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。同时，中文Alpaca模型进一步使用了中文指令数据进行精调，显著提升了模型对指令的理解和执行能力。

Chinese-Vicuna

GitHub地址：
GitHub - Facico/Chinese-Vicuna: Chinese-Vicuna: A Chinese Instruction-
following LLaMA-based Model ——
一个中文低资源的llama+lora方案，结构参考alpaca
鉴于llama,alpaca,guanaco等羊驼模型的研发成功，我们希望基于LLaMA+instruction数据构建一个中文的羊驼模型，并帮助大家能快速学会使用引入自己的数据，并训练出属于自己的小羊驼（Vicuna）

Luotuo-Chinese

GitHub地址：
GitHub - LC1332/Luotuo-Chinese-LLM: 骆驼(Luotuo): Open Sourced Chinese Language
Models. Developed by 陈启源 @ 华中师范大学 & 李鲁鲁 @ 商汤科技 & 冷子昂 @
商汤科技
项目命名为 骆驼 Luotuo (Camel) 主要是因为，Meta之前的项目LLaMA（驼马）和斯坦福之前的项目alpaca(羊驼)都属于偶蹄目-
骆驼科（Artiodactyla-Camelidae）。而且骆驼科只有三个属，再不起这名字就来不及了。
基于各个大模型做的二次衍生开发，开发项目如下：

Falcon

HF地址：
https://huggingface.co/tiiuae
是阿联酋大学推出的，最大的是40B，在AWS上384个GPU上，使用了1万亿的token训练了两个月。

由于是最近开源的模型，二次衍生的模型较少。

OpenBuddy-Falcon

HF地址：
OpenBuddy (OpenBuddy)
详细信息请见：
可商用！全球首个基于Falcon架构的中文大语言模型OpenBuddy开源了！

ChatGLM && VisualGLM

GitHub地址：
GitHub - THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型
是由智源和清华大学联合开发，释放出ChatGLM-6B，目前是较为主流的中文大模型。
VisualGLM是基于ChatGLM-6B+BLIP2模型联合训练得到多模态大模型。

MOSS

GitHub地址：
GitHub - OpenLMLab/MOSS: An open-source tool-augmented conversational
language model from Fudan University
由复旦大学开发，释放了MOSS-16B模型以及8-bit和4-bit量化模型，同时开源了训练数据

Aquila

GitHub地址：
FlagAI/examples/Aquila at master · FlagAI-Open/FlagAI ·
GitHub
智源新发布的大模型，模型和权重均开源，同时开源协议可商业化。
Aquila语言大模型在技术上继承了GPT-3、LLaMA等的架构设计优点，替换了一批更高效的底层算子实现、重新设计实现了中英双语的tokenizer，升级了BMTrain并行训练方法，在Aquila的训练过程中实现了比Magtron+DeepSpeed
zero-2将近８倍的训练效率。Aquila语言大模型是在中英文高质量语料基础上从０开始训练的，通过数据质量的控制、多种训练的优化方法，实现在更小的数据集、更短的训练时间，获得比其它开源模型更优的性能。

PandaGPT

GitHub地址：
GitHub - yxuansu/PandaGPT: PandaGPT: One Model To Instruction-Follow Them
All
来自University of Cambridge、 Nara Institute of Science and Technology、Tencent AI
Lab的成员开源发布了多模态大模型。该大模型能够接收文本、图像、语音模态，并可进行模态之间转换。

TigerBot

GitHub地址：
GitHub - TigerResearch/TigerBot: TigerBot: A multi-language multi-task
LLM
由虎博科技基于BLOOM模型开发的大语言模型，在BLOOM模型架构和算法上做了如下优化：

1. 指令完成监督微调的创新算法以获得更好的可学习型(learnability)，
2. 运用 ensemble 和 probabilistic modeling 的方法实现更可控的事实性(factuality)和创造性(generativeness)，
3. 在并行训练上，我们突破了 deep-speed 等主流框架中若干内存和通信问题，
4. 对中文语言的更不规则的分布，从 tokenizer 到训练算法上做了更适合的算法优化。

模型微调策略

LoRA

GitHub地址：
GitHub - huggingface/peft: 🤗 PEFT: State-of-the-art Parameter-Efficient Fine-
Tuning.

Lora主要在模型中注入可训练模块，大模型在预训练完收敛之后模型包含许多进行矩阵乘法的稠密层，这些层通常是满秩的，在微调过程中其实改变量是比较小的，在矩阵乘法中表现为低秩的改变，注入可训练层的目的是想下游微调的低秩改变由可训练层来学习，冻结模型其他部分，大大减少模型训练参数。

QLORA

GitHub地址：
GitHub - artidoro/qlora: QLoRA: Efficient Finetuning of Quantized
LLMs
![在这里插入图片描述](https://img-
blog.csdnimg.cn/743c5cc024dc4e27b8906dbc5a1c7554.png#pic_center)
QLORA通过冻结的4位量化预训练语言模型向低秩适配器(LoRA)反向传播梯度。

P-tuningv2

GitHub地址：
ChatGLM-6B/ptuning at main · THUDM/ChatGLM-6B ·
GitHub
![在这里插入图片描述](https://img-
blog.csdnimg.cn/7139245a0e9b490d945a955ab109381a.png#pic_center)
p-tuning v2简单来说其实是soft prompt的一种改进，soft
prompt是只作用在embedding层中，实际测试下来只作用在embedding层的话交互能力会变弱，而且冻结模型所有参数去学习插入token，改变量偏小使得效果有时候不太稳定，会差于微调。p
tuning v2则不只是针对embedding层，而是将连续型token插入每一层，增大改变量和交互性。

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓