AIGC入门 - LLM 信息概览

已于 2023-09-20 16:44:49 修改
阅读量995 收藏 6
点赞数 3
分类专栏： nlp GPT大模型 文章标签： AIGC 自然语言处理 深度学习
于 2023-09-18 17:30:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TFATS/article/details/130420071
版权

在阅读本文之前，建议阅读文章：《GPT，GPT-2，GPT-3，InstructGPT的进化之路》

本文将介绍以下 LLM

  • OPT
  • LLaMa
  • Alpaca
  • Vicuna
  • Moss
  • chatGLM
  • Baichuan
  • Openbuddy

一、OPT

1、背景

OPT全称Open Pre-trained Transformer Language Models，即“开放的预训练Transformer语言模型”，是 Meta AI 团队在2022年5月发布了开源大模型OPT-175B，媲美 GPT-3，但是只需要 1/7 carbon footprint 的训练代价。

（Carbon Footprint：根据之前的研究和GPU设备的功耗估计以及碳效率，我们旨在计算模型训练所产生的碳排放量。实际GPU的功耗取决于其利用率，可能与我们作为GPU功耗估计所使用的热设计功耗（TDP）有所不同。需要注意的是，我们的计算不考虑互连或非GPU服务器功耗等进一步的功耗需求，也不考虑数据中心冷却系统的功耗。）

2、模型介绍
1)、开源资源

OPT模型论文地址：OPT: Open Pre-trained Transformer Language Models
Github仓库地址：https://github.com/facebookresearch/metaseq
代码链接：https://github.com/huggingface/transformers/blob/v4.19.0/src/transformers/models/opt/modeling_opt.py
175B模型申请访问权限地址：https://forms.gle/dag8g7nKiR4o4VZq5
OPT 训练日志：https://github.com/facebookresearch/metaseq/blob/main/projects/OPT/chronicles/OPT175B_Logbook.pdf

2)、模型介绍

  • OPT 模型是一种基于 Decoder Only 结构的模型，它采用了单向 Transformer Decoder 生成输出序列。

  • 可在 huggingface 下载 OPT 开源模型：opt125m、opt350m、opt1.3b、opt2.7b、opt6.7b、opt13b、opt30b、opt66b等。

  • OPT系列模型包括了多组不同参数规模的模型权重，如图：
    在这里插入图片描述在这里插入图片描述

  • OPT 训练策略
    对于权重初始化，OPT 遵循 Megatron-LM 代码库[1]中提供的设置，使用均值为零且标准差为 0.006 的正态分布。输出层的标准差按 1.0 / 2 L 1.0/\sqrt{2L} 1.0/2L ​ 的比例缩放，其中 L L L 是层的总数。所有 bias 项初始化为 0，所有模型都使用 ReLU 激活和 2048 的序列长度训练。

    优化器使用 AdamW， ( B 1 , B 2 ) = 0.9 , 0.95 (B1,B2)=0.9,0.95 (B1,B2)=0.9,0.95，权重衰减 weight decay=0.1，Batch Size 范围从 0.5M 到 4M，具体取决于模型大小。Dropout 设置为 0.1 (Embedding 不使用)。

    GPU 资源：使用 992 块 80GB 的 A100 GPU 训练，每个 GPU 最多 147 个 TFLOP/s 的利用。

    训练加速：Fully Sharded Data Parallel 技术，Megatron-LM Tensor Parallelism。

    为了避免下溢，OPT 使用了动态损失函数缩放。

  • OPT 预训练语料库
    预训练语料库包含以下。

    RoBERTa：使用 RoBERTa 语料库的 BookCorpus 和 Stories 子集，和更新的 CCNews 版本。

    Pile：使用 Pile 语料库的子集 CommonCrawl，DM Mathematics，Project Gutenberg，HackerNews，OpenSubtitles，OpenWebText2,，USPTO 和 Wikipedia。作者去掉了 Pile 的其他子集，因为这样可以减轻训练不稳定的风险。

    http://PushShift.io Reddit：使用 Pushshift.io 语料库的子集 Reddit。

    所有语料库之前都被收集或过滤以包含主要英文文本，但通过 CommonCrawl 在语料库中仍然会出现少量非英语数据。作者对预训练语料库中的重复文档进行了删除操作，发现在 Pile 内部包含许多重复的文档，并建议未来的研究人员对该数据集进行额外的重复数据删除处理。

    Tokenizer 使用 GPT-2 byte level BPE tokenizer，最终的训练数据量包含约 180B tokens。

  • OPT 的局限性

    • OPT 当指令是声明性说明或填空疑问句时效果不佳，会输出一些 “从此类指令开始的对话的模拟”，而不是 “真正要回答的答案”。针对这个问题，InstructGPT 给出了一些解决的方案。
    • OPT-175B 生成的结果也往往是重复的，很容易陷入循环中。未来的工作可能希望结合更多的生成策略来减少重复和改进生成内容的多样性。
    • OPT 也会有一些不正确的回复，这点在一些信息准确性很重要的应用里面是有害的。融入一些检索增强 (retrieval-augmentation) 的技术手段也会获益。
    • OPT-175B 还是具有很高的生成有毒语言和生成带有有害刻板印象内容的倾向，强化学习改进。

  • 综上所述，这项技术对于商业部署来说是过早的。

二、LLaMa

1、背景

LLaMA (Large Language Model Meta AI) 是 Meta 在 2023 年2月发布的一款开源的人工智能大型语言模型（共有7B、13B、33B、65B 四种版本，训练使用多达 14,00B tokens 语料。）。在 2023 年7月，Meta发布了其最新版本LLaMA 2。 相较上一代，LLaMA 2训练所用的token翻了一倍至2万亿，Llama2可免费开源商用。

其模型参数如下表所示：
在这里插入图片描述

2、模型介绍
1)、开源资源

论文地址： LLaMA: Open and Efficient Foundation Language Models
代码地址： https://github.com/facebookresearch/llama
模型结构源码：llama 模型结构
模型地址：https://huggingface.co/models?sort=downloads&search=llama

2)、模型介绍

  • 可在 huggingface 下载 llama-2 开源模型。

  • llama用了tranformer的decoder部分，是decoder-only结构。目前大部分生成式的语言模型都是采用这种结构，bert采用Encoder-only，google t5采用encoder-decoder结构。

  • 为什么用decoder-only？ 参考苏剑林【为什么现在的LLM都是Decoder-only的架构？ - 科学空间|Scientific Spaces】，其中提到了attention在n×d的矩阵与d×n的矩阵相乘后再加softmax（n≫d），这种形式的Attention的矩阵因为低秩问题而带来表达能力的下降，但decoder only因为用了masked attention，是一个下三角矩阵，attention一定是满秩的。

  • 与 LLaMA1 相比 LLaMA2 有以下改进：
    https://github.com/facebookresearch/llama/issues/384

  • 与原始的 transformer Decoder 相比，LLaMA主要有以下改进：

    • a ）Pre-normalization
      为了提高训练的稳定性，Pre-norm很早就被提出，原生的transformer中使用的是post-norm，也就是在每个子层输出后进行归一化，相比post-norm，pre-norm是在每个子层输入前对输入的数据归一化，pre-norm的训练会更稳定，甚至都可以不需要做warm-up也能很好地训练transformer大模型。除此之外，LLaMa还是用RMSNorm（Root Mean Square Layer Normalization）取代了Layer Norm，RMSNorm是Layer Norm的一种变体，和Layer Norm中减去均值、除以方差的归一化方式不同，RMSNorm是直接除以均方根。

    • b）SwiGLU激活函数
      LLaMa使用SwiGLU激活函数替代了原有的ReLU激活函数，以提高性能。SwiGLU是Swish和GLU两个函数的结合
      其中Swish=x⋅sigmoid(βx)，SwiGLU=Swish(Wx+b)⨂(Vx+c)

    • c）RoPE旋转位置编码
      LLaMA删除了绝对位置嵌入，使用旋转位置编码，详见:
      Transformer升级之路：2、博采众长的旋转式位置编码

    • d）Grouped-query attention(GQA)
      由 Transformer 的 QKV，换成了 LLaMA2 的 GQA论文，不同于 LLaMA1、chatGLM 的 MQA(论文) 。在这里插入图片描述

三、Alpaca(羊驼)
1、背景

Alpaca 是斯坦福在 LLaMa-7B 的基础上监督微调出来的模型，斯坦福是用OpenAI的Text-davinci-003 API配合 self-instruct 技术，使用175个提示语种子自动生成了52K条提示-回复的指示数据集，在LLaMa-7B上微调得到的模型，在8张80G的A100上训练了3小时。
在这里插入图片描述

2、模型介绍
1)、开源资源

文章地址： https://crfm.stanford.edu/2023/03/13/alpaca.html
代码地址： https://github.com/tatsu-lab/stanford_alpaca

2)、模型介绍

它使用 52K 个 intruction-following examples 来微调 Meta 的大语言模型 LLaMA 7B （Meta 开放了模型权重以及 Inference 代码，详见 https://github.com/facebookresearch/llama），从而生成了 Alpaca 7B。

但是这 52K 个 intruction-following examples 是如何生成的呢？Alpaca 团队使用 https://github.com/yizhongw/self-instruct 提供的 175 个 seed tasks，这些 seed tasks 长这样：
在这里插入图片描述
调用 OpenAI 的 text-davinci-003 模型，利用 OpenAI 的模型来产生有价值的 instructions！

不得不说，有点机智，这种方式很像蒸馏训练啊。将 OpenAI 性能完备的模型作为 Teacher，来指导参数更少的 Alpaca 模型进行训练，大幅降低了训练成本 。其中调用 OpenAI API 的成本不到 500 美刀，另外微调 7B 参数的 LLaMA 模型，使用云服务商提供的 8 块 80GB A100 显卡，训练 3 小时，消费不到 100 美刀。因此整体成本是小于 600 美刀。

相对来说，确实方便了独立的研究人员、学术机构以及大部分公司。

四、Vicuna（小羊驼）
1、背景

Vicuna 是UC伯克利大学的研究人员联合其它几家研究机构共同推出的一系列基于LLaMa-13B 微调的大语言模型。 数据集来自于ShareGPT.com 产生的用户对话数据，共70K条。通过GPT4来打分评测，Vicuna可以达到ChatGPT 90%的效果。基于LLaMA2的可免费商用授权协议。
在这里插入图片描述

2、模型介绍
1)、开源资源

中文领域 lora 训练： https://github.com/Facico/Chinese-Vicuna

2)、模型介绍
  • Vicuna具体的工作流程如下图所示，首先，研究人员从 http://ShareGPT.com（一个供用户分享 ChatGPT 对话内容的网站）收集了约 7 万个对话，相较于Alpaca，Vicuna在训练中将序列长度由512扩展到了2048，并且通过梯度检测和flash attention来解决内存问题；调整训练损失考虑多轮对话，并仅根据模型的输出进行微调，最高支持16K上下文输入。
  • 训练是在一天内通过 8 卡 A100 GPU 配合 PyTOrch FSDP 进行的full fine-tune。
  • 为了提供演示服务，Vicuna研究人员建立了一个轻量级的分布式服务系统FastChat，创建了八个问题类别（如：角色扮演、编码/数学任务等）的 80 个不同问题，利用 GPT-4 来判断模型输出，借此对模型质量做初步评估。
  • 为了比较两个不同的模型，Vicuna研究人员将每个模型的输出组合成每个问题的单个提示。 然后将提示发送到 GPT-4，GPT-4 评估哪个模型提供更好的响应。
    在这里插入图片描述
五、Moss
1、背景

MOSS是复旦大学自然语言处理实验室发布的国内第一个对话式大型语言模型。2023年4月，复旦MOSS升级版开源上线。

2、开源资源

项目代码： https://github.com/OpenLMLab/MOSS
试用网址： https://moss.fastnlp.top

六、chatGLM
1、背景

ChatGLM-6B、ChatGLM2-6B 是由清华大学 KEG 实验室和智谱 AI 基于千亿基座模型 GLM-130B 开发的对话语言模型，ChatGLM 为 encoder-decoder 架构。

2、开源资源

项目代码：https://github.com/THUDM/ChatGLM2-6B

七、Baichuan
1、背景

2023年6月15日，百川智能公司推出了7B 参数量的中英文预训练大模型——baichuan-7B。2023 年 7月11日，百川智能正式发布参数量13B 的通用大语言模型Baichuan-13B-Base。Baichuan 中英文大模型集高性能、完全开源、免费可商用等于一身。

2、开源资源

项目代码：https://github.com/baichuan-inc/Baichuan2
模型下载：https://huggingface.co/models?search=baichuan
（可下载 7B、13B 模型。）

3、模型介绍

在算法层面：模型架构基本与 LLaMA 一致。
参考：
https://www.zhihu.com/question/606757218/answer/3075464500
https://www.zhihu.com/question/611507751/answer/3114988669

八、Openbuddy
1、背景

OpenBuddy团队发布了基于Meta的LLaMA2基座的跨语言对话模型OpenBuddy-LLaMA2-13B。 LLaMA2仍存在一些局限性，如主要以英语训练数据为主，无法很好地应用于非英语语系的语言。为此，OpenBuddy团队设计并实验了多种微调方案，成功完成了OpenBuddy-LLaMA2-13B的首个版本的训练工作。

2、开源资源

Website: https://openbuddy.ai
GitHub: https://github.com/OpenBuddy/OpenBuddy
Huggingface: https://huggingface.co/OpenBuddy

参考文献：

TFATS
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LLM-2022：OPT【参数量：1750亿（175B）】【用于训练的token数量：180B】【MetaAI】
u013250861的博客
02-24 995
该公司将根据来自研究、产业、政府和民间组织的选定合作伙伴的需求，制作具有 1750 亿个参数的最大的 OPT 模型，它们应该能够分析语言处理中神经网络的权重和连接。Meta的AI部门发布了一个经过广泛训练的语言模型来推进人工智能研究，特别是针对语言 AI​​本身弱点的研究。“我们认为，整个人工智能社区——学术研究人员、民间团体、政策制定者和行业——需要共同努力，为负责任的人工智能，特别是负责任的大型模型，制定明确的指导方针，因为它们是许多下游语言应用程序的核心。”Meta的研究团队写道。
终端LLM AI模型:mlc-llm
10-10
使用mlc-llm-main，开发者可以便捷地进行模型的本地开发和优化。这个主文件可能包含了模型的源代码、预训练权重、开发工具以及相关文档。开发者可以通过这个入口，根据具体硬件环境调整模型参数，进行模型裁剪、量化...
AIGC：【LLM（二）】——LangChain:由LLMs驱动的应用开发框架
u013010473的博客
05-08 4061
LangChain:由LLMs驱动的应用开发框架
硬核课程全网首发！高级人工智能：多模态大模型LLM与AIGC前沿技术实战
Datawhale
04-27 3144
2023夏季班招生简章高级人工智能：多模态大模型LLM与AIGC前沿技术实战Advanced Artificial Intelligence:LLM & AIGC cutting-edged Training Camp在这一次AIGC的革新中 你不必是一名旁观者用4个月时间构建自己的多模态LLM机器人GPT-4机器人7*24小时做你的私人助教把握技术革新 突破职业瓶颈硅谷专家 GPT开源贡...
一文讲清楚，AI、AGI、AIGC与AIGC、NLP、LLM，ChatGPT等概念
程序猿赵高的博客
05-28 961
随着chatgpt3.5的横空出试，大模型爆火，这个风暴传递到了各行各业。各类公众号、帖子，也涌现出了各种概念，AI、大模型、LLM、AI、AIGC、AGI、GPT、ChatGPT等等。总觉得被这些概念搞得头晕。我花了点时间，梳理了下一些常见的概念，希望从基本上能对大模型（LLM）有个基本的认识。
一文搞懂ChatGPT相关概念和区别：GPT、大模型、AIGC、LLM、Transformer、羊驼、LangChain…..
人工智能讲师分享前沿技术
05-22 7727
同样，"man" 和 "woman" 的词向量也会非常接近，因为他们都代表性别。Diffusion算法针对任意噪声图片去噪后得到的图片是不可控的，如果让Diffusion算法能够接受文字的提示从而生成想要的图片，这就是当下AIGC的另一个大热点，AI绘画：只输入文字描述，即可自动生成各种图像，其核心算法-Stable Diffusion，就是上面提到的文字到图片的多模态算法CLIP和图像生成算法DIffusion的结合体，CLIP就是作为作为文字提示用的，进而对DIffusion施加影响生成所需的图片。
AIGC基础通识讲解——图解，小白向
beidaomitu233的博客
04-16 679
首先，明确指出并非所有的生成式AI都属于大语言模型范畴，例如图像扩散模型，虽然作为生成式AI的一种，其功能集中在生成图像而非文本内容，因此不属于大语言模型。每一步的输出取决于先前的隐藏状态和当前的输入，要等上一个步骤完成后才能进行当前的计算，因此无法并行计算，训练效率低，而且不擅长处理长序列，也就是长文本。然后数据通过多个隐藏层，每一层都会对数据进行一些复杂的数学运算，来帮助计算机理解图片中的特征，例如小猫的耳朵、眼睛等等，最后计算机会输出一个答案，表明这是否是一张小猫的图片。
2023大型语言模型-aigc-LLM-engineering实例代码合集.zip
10-12
2023大型语言模型——aigc_LLM_engineering实例代码合集，共5个专题。 1-ChatGLM使用 2-LangChain使用 3-ChatPDF实现 4-向量数据库 5-StableDiffusion & Midjourney 1-ChatGLM使用 2-LangChain使用 3-ChatPDF实现 ...
算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
03-06
算法部署_使用TensorRT-LLM部署通义千问Qwen-7B大模型_附详细优化+分析流程教程_优质大模型部署项目实战
awesome-llm-论文学习资源
最新发布
07-22
LLM
算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
06-05
算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip 算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip算法部署-使用TensorRT-...
算法部署-使用TensorRT-LLM部署llama大模型-毕业设计-附详细性能优化+分析+实现流程教程-优质大模型部署项目实战
03-06
算法部署_使用TensorRT-LLM部署llama大模型_毕业设计_附详细性能优化+分析+实现流程教程_优质大模型部署项目实战
开源中国/awesome-llm-pytorch项目资源
07-01
可能是最全的开源 LLM （大语言模型）整理
大模型该被知道的技术实现-LLM
10-31
LLM+技术发展+技术实现+xmind清晰思路。帮助快速理清大模型实现需要的技术，快速定位自身实现大模型需要的基础能力及如何微调，如何进行思维链提示，即如何进行IT、COT等工作。
RAG部署-使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG-优质大模型部署项目实战.zip
04-09
在本项目中，我们将深入探讨如何在Windows操作系统上利用TensorRT-LLM（Longformer Language Model）技术部署RAG（Retrieval-Augmented Generation）聊天机器人。RAG是一种先进的自然语言处理模型，它结合了检索式和...
AIGC大模型必备知识——LLM ，你知道它是如何训练的吗？小白必读深度好文
Oven_OJAC的博客
01-11 2805
如果您选择加入我们的OJAC标准会员，我们的"AI职场导航"项目，还将为您提供量身定制的职业机会，这些职位来自于我们广泛的行业网络，包括初创企业、中型企业以及全球知名公司。在本文中，我们将探究大型语言模型的世界：了解它们的定义、训练方式，探讨它们迅速流行的奥秘，并介绍一些常见的大型语言模型实例。除此之外，现在报名我们即将开班的第六期AIGC星辰大海大模型工程师和产品经理训练营，您将可以参与到以下三个创新实战项目中的任意一个，这些项目不仅能够锻炼您的实战能力，还能让您在AIGC领域脱颖而出。
大模型Founation Model
be_humble的博客
05-16 644
大模型 LLM Foundation Model NLP
【精华】AIGC之大语言模型及实践应用
LeeZhao的博客
04-13 1434
AIGC之大语言模型研究进展
deepke-llm
07-28
DeepKE-LLM是DeepKE项目的一个版本，它是一个开源可扩展的知识图谱抽取工具。DeepKE-LLM可以实现命名实体识别、关系抽取和属性抽取等抽取任务，并支持低资源少样本、文档篇章和多模态等复杂场景。该版本基于大模型对数据进行智能解析以实现知识抽取，支持多种大模型、遵循指令和自定义知识类型、格式。\[3\] #### 引用[.reference_title] - *1* *2* *3* [开源开放 | 开源知识图谱抽取工具发布大模型版DeepKE-LLM](https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/131297637)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值