AIGC实战——多模态模型Flamingo

已于 2024-10-31 09:40:32 修改
阅读量7.7k 收藏 55
点赞数 64
分类专栏： 生成式人工智能从入门到实战 文章标签： AIGC 深度学习 大模型
于 2024-09-16 08:49:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LOVEmy134611/article/details/142290102
版权

AIGC实战——多模态模型Flamingo

0. 前言

我们已经学习了文本生成图像模型 DALL.E 2，在本节中，我们将探索另一种多模态模型 Flamingo，它可以根据给定文本和视觉数据流生成文本。Flamingo 是 DeepMind 在 2022 年提出的一类视觉语言模型 (Visual Language Model, VLM)，它是预训练的纯视觉模型和纯语言模型之间的桥梁。在本节中，我们将介绍 Flamingo 模型的架构，并将其与所学习的文本生成图像模型进行比较。

1. Flamingo 架构

Flamingo 的整体架构如下图所示。接下来，我们将对该模型的核心组件，视觉编码器、Perceiver 重采样器和语言模式进行介绍，以了解 Flamingo 的核心思想。

了解本专栏 订阅专栏 解锁全文
Flamingo：通向多模态AI的里程碑
步子哥的博客
07-21 1387
在深入Flamingo之前,我们首先需要理解什么是多模态建模。简单来说,多模态建模是指能够同时处理多种类型数据的机器学习模型。在人工智能领域,我们通常将文本、图像、表格、音频等不同类型的数据称为不同的"模态"。因此,能够同时理解和处理多种模态数据的模型就是多模态模型。视觉语言建模是多模态建模中最受关注的方向之一。它主要研究如何让机器同时理解图像和文本,并完成涉及两种模态的任务。
多模态基础（二）：OpenAI经典之作CLIP vs LMM的黎明Flamingo
强化学习曾小健
07-23 813
我的理论是，由于 OpenAI 已经在整个互联网上搜索了他们的 GPT 模型，他们可能只是查询了他们的内部数据库。尽管该模型可以生成文本响应，但在 CLIP 评估的所有视觉语言理解任务上，其性能始终比 CLIP 的最佳性能模型低 10% 左右。由于 CLIP 的训练过程在概念上类似于图像到文本检索和文本到图像检索，因此 CLIP“为图像检索或搜索等广泛应用的任务展现了巨大的前景。从简化的角度来看，Flamingo 是 CLIP + 语言模型，添加了一些技术，使语言模型能够根据视觉和文本输入生成文本。
读论文笔记-Flamingo：少样本视觉语言模型
qq_73697176的博客
03-28 933
Flamingo
【论文极速读】Flamingo：一种交织图文的视觉语言大模型方法
机器学习杂货铺1号店
02-17 1万+
Flamingo算是DeepMind的多模态融合LLM的一个较老的工作了（2022年），之前粗略读过没来得及及时总结，本次过年笔者重新细读了论文，发现其在50多页的论文中有着不少细节，本文对该工作进行读后感笔记。
基于LLMs的多模态大模型（Flamingo, BLIP-2，KOSMOS-1，ScienceQA）
nakaizura
05-26 8667
本篇文章将介绍一些需要训练视觉编码器来适配多模态大模型的工作们，这也是目前最为流行的研究思路。其实早在2021年DeepMind发表Frozen的时候就已经有了few-shot甚至in-context learning的思路，博主在以往的博文中也有过介绍（Multimodal Few-Shot Learning with Frozen Language Models），此处简要回顾一下，如下图所示，Frozen先将图片编码成visual tokens，然后作为prefix跟文本的tokens一起输入到L
Flamingo Model - 一种通过few-shots方法的VLM（Vision-Language Model）
a_big_king的博客
08-09 1725
构建能够仅使用少量标注示例迅速适应新任务的模型是多模态机器学习研究面临的一个挑战。我们引入了Flamingo模型，这是一种具备这种能力的视觉语言模型（VLM）。链接强大的预训练视觉和语言模型；处理任意交错排列的视觉和文本数据序列；无缝接收图像或视频作为输入。由于模型具有的灵活性，可以在包含任意交错文本和图像的大规模多模态网络语料库上进行训练，从而赋予它们上下文感知式少样本学习能力。
Flamingo: a Visual Language Model for Few-Shot Learning----Flamingo：用于少样本学习的视觉语言模型
Mars_prime的博客
03-04 1907
文本生成由 Transformer 解码器执行，以感知器重采样器生成的视觉表示为条件。我们将预训练和冻结的纯文本 LM 块与从头开始训练的块交错，这些块交叉参与感知器重采样器的视觉输出。在冻结的预训练 LM 中交错新的 GATED XATTN-DENSE 层。我们冻结预训练的 LM 块，并在原始层之间插入门控交叉注意力密集块（图 4），从头开始训练。为了确保在初始化时，条件模型产生与原始语言模型相同的结果，我们使用 tanh 门控机制 [41]。
论文浅尝 | Flamingo:一个小样本学习的视觉语言模型
开放知识图谱
05-29 1506
笔记整理：许彤，浙江大学博士链接：https://arxiv.org/pdf/2204.14198v1.pdf1. 动机人工智能的一个关键方面是在给定少量指令的情况下，能够快速学习新任务的能力。虽然在计算机视觉领域已经在类似的能力上有所进展，但最常用的范式仍然是先对从网络上收集的大量有监督的多模态数据进行预训练，然后对感兴趣的任务进行模型微调。然而，为了成功进行微调，通常需要数千个带注释的数据。除...
OpenFlamingo 多模态是GPT-4 开源替代品
ejinxian的专栏
03-30 1708
OpenFlamingo 的整体架构图如下，可以看出技术细节上很大程度上是跟着 DeepMind 的 Flamingo 模型走，Flamingo 模型在包含交叉文本和图像的大规模网络语料库上进行训练，OpenFlamingo 同样是使用交叉注意力层来融合预训练的视觉编码器和语言模型。，这是一个用于训练和评估大型多模态模型 (LMM) 的框架，属于 DeepMind 的 Flamingo 模型（一种能够处理和推理图像、视频和文本的等多模态内容的框架）的开源复制品。
AIGC实战——生成模型简介
热门推荐
盼小辉丶的博客
08-29 8万+
生成式人工智能是一种人工智能方法，旨在通过学习训练数据的分布模型来生成新的、原创的数据。人工智能生成内容 (Artificial Intelligence Generated Content, AIGC) 是生成式人工智能的一个具体应用和实现方式，是指利用人工智能技术生成各种形式的内容，如文字、图像、音频和视频等。本节将介绍生成模型基本概念，首先介绍生成模型的基本概念，然后，构建用于衡量生成模型性能的框架，并介绍一些重要的核心概念。然后，介绍当前主流的生成模型技术及其分类。
AIGC实战——多模态模型DALL.E 2
盼小辉丶的博客
05-08 5564
DALL.E 2 是 OpenAI 提出的一个大规模文本生成图像模型，可以根据文本提示生成各种风格的逼真图像。它通过将预训练模型 CLIP 与 GLIDE 中的扩散模型架构相结合完成任务。它还具有其他应用，例如通过文本提示编辑图像和提供给定图像的变体。虽然它也有一些局限性，例如不一致的文本渲染和属性绑定，但 DALL.E 2 是仍然一个非常强大的AI模型，推动了生成模型的发展。
AIGC实战——能量模型(Energy-Based Model)
盼小辉丶的博客
02-18 7623
能量模型 (Energy-based Model, EBM) 是一类常见的生成模型，其借鉴了物理系统建模的一个关键思想，即事件的概率可以用玻尔兹曼分布来表示。玻尔兹曼分布是一种将实值能量函数归一化到 0 和 1 之间的函数，该分布最早由 Ludwig Boltzmann 于 1868 年提出，用于描述处于热平衡状态的气体系统。在本节中，我们将利用这一思想来训练一个生成模型，用于生成 MNIST 手写数字的图像。
AIGC实战——使用变分自编码器生成面部图像
盼小辉丶的博客
11-19 5126
在本节中，我们将变分自编码器应用于人脸生成问题，并了解如何解码来自标准正态分布的样本点以生成新的人脸。此外，通过在潜空间内执行向量运算，我们可以实现一些新奇的效果，如人脸形态变换和特征操作。
Flamingo: a Visual Language Model for Few-Shot Learning翻译
nopSled
04-14 5626
人工智能的一个关键方面是在给定少量指令的情况下，能够快速学习新任务的能力。尽管在计算机视觉方面已经取得了初步进展，但最广泛使用的范式仍然是首先在大量有监督数据上进行预训练，然后在感兴趣的任务上微调模型。但是，成功的微调通常需要数千个标注的数据。此外，它通常需要对每个任务的超参数进行精细调整，并且也是资源密集的。最近，在对比学习目标上训练多模态视觉语言模型，已经能够zero-shot应用到新任务，而无需进行微调。
多模态大模型[CLIP/Flamingo/Coca/BLIP]
最新发布
xxzhix的博客
04-12 724
Vision encoder使用的模型是Normalizer-Free ResNet，预训练目标是image-text的对比学习，将最终阶段的2D 网格特征拉平成1D的序列特征。Coca是一个编码器和解码器结构，Image Encoder编码图像特征，文本解码器和标准的transformer decoder不同，Coca在前一半数量的layers忽略cross-attention来编码文本特征，在剩下的layers中，将图像特征进行cross attention做text decoder。
火烈鸟（Flamingo）框架——构建可扩展的Go语言Web应用的新选择
gitblog_00090的博客
05-23 792
火烈鸟（Flamingo）框架——构建可扩展的Go语言Web应用的新选择 flamingoi-love-flamingo/flamingo: 是一个基于 Vue.js 的轻量级移动端组件库，包含丰富的组件，适合用于构建移动端 APP 或网页。项目地址:https://gitcode.com/gh_mirrors/flamin/flamingo 1、项目介绍 火烈鸟（Flamingo）是一个基于...
Flamingo: a Visual Language Model for Few-Shot Learning 简读
m0_60388871的博客
03-03 1342
Flamingo 的灵感来源于此，旨在将这种能力扩展到视觉-语言任务中，使模型能够处理图像、视频和文本的混合输入，并在少样本条件下完成诸如视觉问答（visual question-answering）、图像描述（captioning）和分类等任务。然而，现有的视觉-语言模型（如基于对比学习的 CLIP）虽然在零样本（zero-shot）场景下表现不错，但只能输出图像和文本之间的相似度分数，无法生成语言，因此不适合开放式任务。在 9 个已有少样本结果的任务上，Flamingo 设定了新的少样本标准。
【多模态】Flamingo模型技术学习
威化饼的一隅
11-23 1324
最近多模态模型特别火，从头开始学习！在前面写的几篇里面学习了MiniCPM-V、ViT、CLIP和BLIP/BLIP-2之后，今天学习一下Flamingo模型，记录学习过程，欢迎批评指正，一起学习~~
评论 61
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

盼小辉丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值