从零训练一个多模态LLM：预训练+指令微调+对齐+融合多模态+链接外部系统

最新推荐文章于 2024-10-24 17:02:20 发布
最新推荐文章于 2024-10-24 17:02:20 发布
阅读量848 收藏 23
点赞数 15
文章标签： 人工智能 embedding 学习 音视频 langchain
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/maiya_yayaya/article/details/140796729
版权

图片

本文尝试梳理一个完整的多模态LLM的训练流程。包括模型结构选择、数据预处理、模型预训练、指令微调、对齐、融合多模态以及链接外部系统等环节。

01

图片

准备阶段

1 模型结构

目前主要有三种模型架构，基于Transformer解码器，基于General Language Model，以及混合专家模型。这一步可以直接选择开源的的基座模型，例如基于Transformer解码器架构的LLaMA模型族，模型结构及一些重要参数如下图。假设选择LLaMA-65B，Tokenizer选择LLaMA的基于BPE算法构造的tokenizer。如果想要扩展词表，可以在目标语言上训练好词表后和LLaMA的词表merge在一起。

图片

02

图片

预训练数据

1 数据源

根据Chinchilla 的scaling law，要达到最优的计算利用率，65B模型对应的训练token数量应该达到1.4T。当前用于训练LLM的数据来源很多，但其中的高质量数据有限，该数据是提升模型性能的关键。另外，有文章指出，代码数据有助于提升模型的推理能力。因此，需要混合多种数据来源的数据，并合理分配每周数据的占比。如下图，可以参考LLaMA的数据源和比例，其中Disk size表示可用的数据总量，Sampling prop表示在总训练token中的占比，epochs表示采样的次数。

图片
2 数据处理

想要提升模型的性能，除了利用已有的开源数据集，例如The Pile，C4，OSCAR等，还可以自己构建数据集。在论文RefinedWeb 中提到，从网页数据中创建的数据集也可以达到和精心收集的数据集同等的效果。Wikipedia，Books，GitHub，ArXiv，以及StackExchange等高质量数据的处理方法可以参考论文The Pile 。下面介绍从Common Crawl构建数据集的方法，CC是一个海量的、非结构化的、多语言的网页数据集，拥有超过8年的网络爬虫数据集，包括原始网页数据（WARC）、元数据（WAT）和文本提取（WET）。每个月都会发布包括一个 20~30 TB 未压缩纯文本的快照，包含了随机搜索和采样的 URL 所获得的网页，不同月份发布的数据之间只有非常少量的数据重合，8 年以来所有爬下来的数据总和是PB级别的。如下图，数据处理流程包含文档准备，过滤以及去重三个步骤，做法参考RefinedWeb论文。

图片
2.1 文档准备

包括数据读取、过滤url、提取文本和语言识别；

数据读取

文本数据既可以从WET文件也可以从WARC文件中读取。直接使用WET文件可以省略从HTML文件中提取文本的工作，但是包含一些不相关信息。因此可以从WARC文件中读取文本。

过滤URL

在正式处理文本数据之前，首先要对URL执行第一次过滤，过滤的目标是欺诈和成人网站(主要是色情、暴力、与赌博有关的网站等)。基于两个规则进行过滤：(1)一个包含460万个域名的屏蔽列表；(2) URL评分，基于收集到的特定单词列表，并按严重程度进行权衡。同时，可以按照需要过滤掉包含在高文本数据集中的数据来源，例如Wikipedia和arXiv等。

提取文本

目的是提取HTML页面中的主要内容，忽略菜单、页眉、页脚和广告等。可以采用trafilatura，jusText等库，结合正则表达式进行文本提取。最终将新行限制为连续的两行，并删除所有URL链接。

语言识别

语言识别可以在去重之前也可以在去重之后进行。但当文档数量比较少的时候，先识别会导致部分语言分类错误。可以采用fastText语言分类器进行语言分类，该分类器是在Wikipedia、Tatoeba和SETimes上面训练的，使用n-grams来作为特征，并采用层级softmax，支持 176 种语言的分类，最后输出一个 0~1 的分数。删除最高语言分数低于设定阈值的文档。通过改变阈值，可以调整保留的文档比例。

2.2 过滤

从网页提取的文档质量低下，过滤的目的是移除重复段落，无关内容，非自然语言等等，提高文本质量。包括文档级别和行级过滤；

包含重复的文档移除

可以在去重阶段进行，但在早期进行代价更低，也更容易。一般采用启发式方法，制定一系列规则删除任何具有过多行、段落或n-gram重复的文档，做法可以参考论文BLOOM 。

文档过滤

主要的目的是保留人类写给人类的自然语言文档，移除机器生成的垃圾邮件，主要由关键字列表、样板文本或特殊字符序列组成。这样的文档不适合语言建模。采用质量过滤启发式算法，做法可以参考论文BLOOM。重点是根据文档长度、符号与单词的比率和其他标准方面去除异常值，以确保文档是由真正的自然语言构成。

行级过滤

通过trafilatura库提取的文本避免了大部分无关的内容，但仍然有遗漏。通过一个线性校正过滤器继续过滤和正文无关的内容(例如点赞数，导航按钮等)。

2.3 去重

过滤之后，数据质量得到了提高，但很多文档是重复的。可以通过模糊文档匹配和精确序列删除对文档进行去重。

模糊去重

可以采用SimHash，MinHash算法删除相似的文档：对于每个文档，计算其与其他文档的近似相似性，并删除高重叠的文档对。通过更改哈希算法的参数，可以调整去重的比例。

精确去重

一般采用精确子字符串去重，是序列级去重。通过使用后缀数组查找字符串之间的精确匹配，删除重复超过给定阈值的连续token的段落。

URL去重

进一步删除跨CC转储重复访问的URL。

03

图片

模型预训练

基于Transformer解码器架构的LM的预训练的方法是让模型做 Next Token Prediction 任务。基于GLM的LM的预训练方法是让模型做自回归空白填充任务。LLM由于规模大，权重维度高，参数量以及数据量多，因此会带来训练不稳定，难以收敛，耗时长，计算资源庞大等问题。下面从模型结构和训练技巧方面介绍一些提升模型的训练速度以及提高训练稳定性的方法。

1 结构改进

采用Pre-normalization， 例如RMSNorm，在残差连接前对参数归一化，有一部分参数直接与后面的参数相加，可以防止梯度爆炸或消失。用 SwiGLU 激活替代 ReLU，提高模型性能。相较于常规的绝对位置编码，相对位置编码在长序列上性能更好，例如RoPE和ALiBi编码方法。常规的自注意力查询需要大量的计算和存储资源，通过采用 Multi Query Attention 和 Flash Attention 可以减少计算，提升训练速度。

最低0.47元/天 解锁文章
LLM-大模型训练-步骤(一)：词表扩充【sentencepiece】​
u013250861的博客
06-24 2342
如果欲了解扩充词表的具体方法，或者使用自己的词表对LLaMA tokenizer进行扩充，我们提供了代码。由于原版LLaMA对中文的支持非常有限，本项目在原版LLaMA的基础上进一步扩充了中文词表。我们所使用的在中文通用语料上训练的20K中文词表也一并放出，可以在。更多关于中文词表扩充的动机，可参考。
LLM - 理解 多模态大语言模型(MLLM) 的 预训练(Pre-training) 与相关技术 (三)
AGI
09-12 1370
完备(Full-Fledged) 的 多模态大语言模型(MLLM) 经历 3 个阶段的训练，即 预训练(Pre-training)、指令微调(Instruction-Tuning) 和 对齐调优(Alignment Tuning)。每个训练阶段都需要不同类型的数据，并且实现不同的目标。本篇介绍，预训练(Pre-training) 部分。
一文读懂 LLM 训练：从预训练到微调【大模型行业应用入门系列】
kaka0722ww的博客
04-16 6894
LLM Training 是指大型语言模型（LLM）的训练过程。作为一种采用超大规模数据进行预训练的深度学习模型，LLM 训练目标是培养出一个能够理解和生成自然语言文本的模型。在这个过程中，LLM 通过处理海量文本数据来学习语言的规律、语义和上下文关系等训练方式，可以获得丰富的语言知识和智能，从而使得能够自动理解和生成人类语言。通常而言，这种训练过程通常需要大量的计算资源和时间，以便模型能够充分地学习语言的各个方面。
【LLM】多模态LLM综述MultiModal Large Language Models
发现问题，并解决问题，批判性思维
06-02 3849
note （一）现有的 MM-LLM 的趋势： (1)从专门强调 MM 理解对特定模态的生成的进展，并进一步演变为任何到任何模态的转换（例如，MiniGPT-4 → MiniGPT-5 → NExT-GPT）； (2) 从 MM PT 提升到 SFT，然后到 RLHF，训练管道进行连续细化，努力更好地与人类意图对齐并提高模型的会话交互能力（例如，BLIP-2 → InstructBLIP →DRESS）； (3) 实施多样化模态扩展（例如，BLIP-2 → X-LLM 和 InstructBLIP→X-In
【大语言模型】基于Transformer架构的自注意力机制与预训练微调范式：多领域应用场景及技术挑战分析
最新发布
05-05
此外，还探讨了多模态融合与AGI探索等前沿方向。技术挑战与趋势部分提及算力需求、数据隐私保护及轻量化部署等问题。; 适合人群：对大语言模型感兴趣的研究人员、开发者以及希望了解AI技术最新进展的技术爱好者。; ...
多模态大模型 前沿算法与实战应用【附源码+课件】
12-10
在多模态大模型的训练策略和数据处理方法方面，课程介绍了预训练、指令微调和对齐微调三个主要的训练阶段。预训练阶段的目标是对齐不同模态，并让模型学习丰富的多模态知识，通常需要大规模的文本配对数据。预训练...
3D多模态模型Point-Bind与大型语言模型Point-LLM的研究进展
12-28
Point-Bind利用点云与图像、文本、音频等多种模态对齐，构建了一个统一的嵌入空间，支持多种应用场景，如从任意模态生成3D模型（any-to-3D generation）、3D嵌入空间算术运算、3D零样本理解和3D跨模态检索。...
【多模态LLM】多模态理解评测标准（图生文）
发现问题，并解决问题，批判性思维
08-03 2148
# note - 评测图片识别、理解、分析、推理能力；评测多轮对话；扩大评测场景（日常生活、教育娱乐等） - SuperClue-V采用6个标准，即正确性、相关性、流畅性、知识延伸、输出样式多样化、多感官信息融合，来定量的评价模型在所构建的指标下的表现能力，其中正确性、相关性、流畅性这三个指标设置为基础等级，旨在区分头部模型与一般模型的能力，而知识延伸、输出样式多样化、多感官信息融合这三个指标设置为扩展等级，旨在进一步区分头部模型之间的能力 @[toc] # 一、图生文LLM评测标准 文章地址：ww
LAMM：多模态指令微调数据集、框架、评测基准
Paper weekly
01-15 1873
最近，大型语言模型（LLM）因其在实现通用人工智能智能体（AI Agent）方面的出色表现而备受瞩目。蓬勃发展的开源 LLM 社区极大地推动了通过自然语言处理实现人机对话交互的代理系统的发展。但是，人类与世界的互动不仅仅局限于文本，视觉等其他模态也同样重要。针对多模态大语言模型（MLLM），如 GPT-4V 和 Bard 等模型和应用，已经展示了它们在处理视觉信息方面的有效性。不过，这些研究的透明...
多模态LLM多到看不过来？先看这26个SOTA模型吧
weixin_42907150的博客
02-03 865
总参数量取决于 MM-LLM 中使用的核心 LLM 的规模。考虑到多模态研究位于多种模态的交叉领域，一种合乎逻辑的方法是充分利用现成的预训练单模态基础模型，尤其是强大的大型语言模型（LLM）。一开始，研究社区主要关注的是多模态内容理解和文本生成，此类模型包括 (Open) Flamingo、BLIP-2、Kosmos-1、LLaVA/LLaVA-1.5、MiniGPT-4、MultiModal-GPT、VideoChat、Video-LLaMA、IDEFICS、Fuyu-8B、Qwen-Audio。
AIGC大模型必备知识——LLM ，你知道它是如何训练的吗？小白必读深度好文
Oven_OJAC的博客
01-11 3927
如果您选择加入我们的OJAC标准会员，我们的"AI职场导航"项目，还将为您提供量身定制的职业机会，这些职位来自于我们广泛的行业网络，包括初创企业、中型企业以及全球知名公司。在本文中，我们将探究大型语言模型的世界：了解它们的定义、训练方式，探讨它们迅速流行的奥秘，并介绍一些常见的大型语言模型实例。除此之外，现在报名我们即将开班的第六期AIGC星辰大海大模型工程师和产品经理训练营，您将可以参与到以下三个创新实战项目中的任意一个，这些项目不仅能够锻炼您的实战能力，还能让您在AIGC领域脱颖而出。
大语言模型训练指南
扬起你的笑脸~把影子藏在身后
02-06 1337
前面三个是单机多卡典型的三种连接方式，第三种是四张卡都在一个 PCIe switch 上，所以带宽较高，能达到 >10GB/s PCIe 的带宽大小，第二种是两个 GPU 通过 switch 相连后再经过 CPU 连接，速度会稍微低一点，第一种是两个 GPU 通过 CPU 然后通过 QPI 和另一个 CPU 上的两块卡相连，因此速度最慢，但也能达到 >5GB/s。篇幅限制就不展示了。当然，由于 BF16 和 FP16 的大小相同，均为 2 个字节，因此，当使用 BF16 时，它的劣势也会暴露：精度非常差。
多模态大型语言模型（MLLM）综述（非常详细）零基础入门到精通， 收藏这一篇就够了
Python_0011的博客
07-01 4532
最近，以GPT-4V为代表的多模态大型语言模型（MLLM）已成为新兴的研究热点，它使用强大的大型语言模型（LLMs）作为“大脑”来执行多模态任务。MLLM出人意料的涌现能力，如基于图像编写故事和无需OCR的数学推理，是传统多模态方法中罕见的，这表明了一条通往人工通用智能的潜在路径。为此，学术界和工业界都致力于开发能够与GPT-4V竞争甚至超越的MLLM，以惊人的速度推动研究的极限。在本文中，我们旨在追踪并总结MLLM的最新进展。
从零开始手把手带你训练LLM保姆级教程，草履虫都能学会！零基础看完这篇就足够了~
2201_75571291的博客
10-24 825
通常，tokenizer 有 2 种常用形式：WordPiece 和 BPE。WordPieceWordPiece 很好理解，就是将所有的「常用字」和「常用词」都存到词表中，当需要切词的时候就从词表里面查找即可。bert-base-chinese tokenizer 可视化上述图片来自可视化工具 [tokenizer_viewer]。如上图所示，大名鼎鼎的 BERT 就使用的这种切词法。当我们输入句子：你好世界，BERT 就会依次查找词表中对应的字，并将句子切成词的组合。
【LLM-多模态】高效多模态大型语言模型综述
xx_nm98的博客
06-24 1242
模型规模的庞大及训练和推理成本的高昂，限制了MLLMs在学术界和工业界的广泛应用。因此，研究高效轻量级的MLLMs具有巨大潜力，特别是在边缘计算场景中。论文深入探讨了高效MLLM文献的领域，提供了一个全面的视角，涵盖了其核心主题，包括基础理论及其扩展。论文的目标是识别并强调需要进一步研究并提出未来研究可能的方向。论文旨在提供一个关于高效MLLM当前状态的全面视角，希望能够激发更多的研究。鉴于该领域的动态性，可能有些最新的发展并未被完全覆盖。为此，论文建立了一个专门的网站，利用众包来跟上最新的进展。
【多模态】28、LLaVA 第一版 | Visual Instruction Tuning 多模态模型的指令微调
呆呆的猫的博客
02-29 5204
本文主要介绍 LLaVA 第一版模型
多模态大模型从零开始写代码
05-05
<think>好的，用户现在想了解如何从零开始编写多模态大模型的代码实现教程。我需要结合之前的引用内容，特别是引用[2]、[3]、[4]中的信息来构建回答。首先，用户可能对多模态大模型的基本结构不太清楚，所以需要先解释核心概念，比如特征对齐、跨模态交互等。然后，根据引用[2]提到的从零构建LLM，可能需要分步骤讲解，比如数据准备、模型架构、预训练和微调等阶段。 接下来，引用[3]提到了LLaVA的训练阶段，包括特征对齐和视觉指令微调，这可以作为代码实现的具体步骤。例如，特征对齐阶段需要训练MLP连接器，这可能涉及到将图像和文本特征映射到同一空间。需要展示如何用PyTorch实现这样的连接层，并给出示例代码。 另外，引用[4]中的RAG+多模态模型实战可能涉及到API密钥的设置，但用户的问题更偏向于代码实现，所以可能需要忽略这部分，专注于模型架构和训练流程。同时，要确保代码示例符合系统级指令，比如数学公式用$...$格式，独立公式用$$...$$，并检查LaTeX语法是否正确。 用户还可能关心如何整合不同模态的数据，比如文本和图像的处理方法。需要解释如何处理图像特征（如使用ResNet提取），文本特征（如使用BERT编码），然后通过连接层进行对齐。此外，训练策略如两阶段训练（预训练和微调）也是重点，需要详细说明每个阶段的数据集和损失函数。 可能还需要考虑多模态交互机制，比如交叉注意力或融合层，这部分可以引用Transformer的结构，如引用[2]中的Self-Attention实现，展示如何将不同模态的特征进行交互。代码示例应包括定义模型类、前向传播方法，以及训练循环的基本结构。 最后，生成相关问题时要围绕用户可能的后续疑问，比如优化方法、部署应用、数据处理技巧等，确保问题覆盖全面，帮助用户进一步深入学习。同时，确保回答结构清晰，分步骤讲解，代码正确，符合用户的需求。</think>### 从零构建多模态大模型的代码实现教程 #### 1. 核心架构设计 多模态大模型的核心是**跨模态特征对齐与融合**。典型结构包含： - **图像编码器**：使用预训练的ResNet/ViT提取视觉特征 - **文本编码器**：使用BERT/GPT处理文本特征 - **跨模态交互层**：通过注意力机制实现特征融合 - **任务适配层**：输出预测结果 数学表达式描述特征对齐过程： $$ h_v = W_v \cdot \text{ResNet}(I),\quad h_t = W_t \cdot \text{BERT}(T) $$ 其中$W_v, W_t$是可训练的映射矩阵[^3] #### 2. 代码实现步骤（基于PyTorch） **步骤1：定义跨模态连接层** ```python import torch import torch.nn as nn class MultimodalProjector(nn.Module): def __init__(self, vis_dim=2048, txt_dim=768, hidden_dim=512): super().__init__() self.image_proj = nn.Sequential( nn.Linear(vis_dim, hidden_dim), nn.GELU(), nn.LayerNorm(hidden_dim) ) self.text_proj = nn.Sequential( nn.Linear(txt_dim, hidden_dim), nn.GELU(), nn.LayerNorm(hidden_dim) ) def forward(self, image_features, text_features): return self.image_proj(image_features), self.text_proj(text_features) ``` **步骤2：构建跨模态注意力层** ```python class CrossAttention(nn.Module): def __init__(self, dim=512, heads=8): super().__init__() self.mha = nn.MultiheadAttention(dim, heads) self.norm = nn.LayerNorm(dim) def forward(self, query, key_value): attn_out, _ = self.mha(query, key_value, key_value) return self.norm(query + attn_out) ``` **步骤3：整合完整模型** ```python class MultimodalModel(nn.Module): def __init__(self): super().__init__() self.vision_encoder = torch.hub.load('pytorch/vision', 'resnet50', pretrained=True) self.text_encoder = torch.hub.load('huggingface/pytorch-transformers', 'model', 'bert-base-uncased') self.projector = MultimodalProjector() self.cross_attn = CrossAttention() self.classifier = nn.Linear(512, num_classes) def forward(self, images, texts): # 特征提取 vis_features = self.vision_encoder(images) txt_features = self.text_encoder(texts).last_hidden_state.mean(1) # 特征对齐 proj_vis, proj_txt = self.projector(vis_features, txt_features) # 跨模态交互 fused_features = self.cross_attn(proj_vis.unsqueeze(0), proj_txt.unsqueeze(0)) # 任务预测 return self.classifier(fused_features.squeeze(0)) ``` #### 3. 训练策略实现 参考LLaVA的两阶段训练法[^3]： ```python # 第一阶段：特征对齐预训练 def pretrain_phase(): optimizer = torch.optim.AdamW(model.projector.parameters(), lr=1e-4) loss_fn = nn.CosineEmbeddingLoss() for batch in pretrain_loader: images, texts = batch vis_feat = model.vision_encoder(images) txt_feat = model.text_encoder(texts) proj_vis, proj_txt = model.projector(vis_feat, txt_feat) loss = loss_fn(proj_vis, proj_txt, torch.ones(batch_size)) optimizer.zero_grad() loss.backward() optimizer.step() # 第二阶段：指令微调 def finetune_phase(): optimizer = torch.optim.Adam(model.parameters(), lr=2e-5) loss_fn = nn.CrossEntropyLoss() for batch in finetune_loader: images, texts, labels = batch outputs = model(images, texts) loss = loss_fn(outputs, labels) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() ``` #### 4. 关键数学原理 跨模态注意力机制的核心公式： $$ \text{Attention}(Q,K,V) = \text{softmax}(\frac{QK^T}{\sqrt{d_k}})V $$ 其中$Q$来自一个模态，$K,V$来自另一模态，$d_k$是维度缩放因子[^2]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值