人工智能曾小健

作者：樊奇，上海交通大学硕士生全文约 2400 字，预计阅读时间 6 分钟在上一期 MiniGPT-4 的内容中，我们提到了来自BLIP 的 QForme。BLIP 同样作为多模态大模型的早期工作，尽管它的很多设计逐渐淡出 MLLM（Multimodal Large Language Model） 的发展主流，但其对于 MLLM 发展的意义仍是不可被磨灭的。因此，我们将在本期内容中聊一聊 BLIP 系列，希望对大家有所帮助。

我们推出了Florence-2，这是一种新颖的视觉基础模型，具有统一的、基于提示的表示，可用于各种计算机视觉和视觉语言任务。虽然现有的大型视觉模型在迁移学习方面表现出色，但它们难以用简单的指令执行各种任务，这种能力意味着处理各种空间层次和语义粒度的复杂性。Florence -2旨在将文本提示作为任务指令，并以文本形式生成理想的结果，无论是字幕、对象检测、基础还是分割。这种多任务学习设置需要大规模、高质量的注释数据。为此，我们共同开发了FLD-5B，它包含 1.26 亿张图像上的 54 亿条综合视觉注释，使用

零样本模型的稳健微调米切尔·沃茨曼∗†加布里埃尔·伊尔哈科∗†抽象的大型预训练模型（例如 CLIP 或 ALIGN）在执行零样本推理（即无需对特定数据集进行微调）时，可在一系列数据分布上提供一致的准确度。尽管现有的微调方法可以大幅提高给定目标分布的准确度，但它们通常会降低对分布偏移的鲁棒性。我们通过引入一种简单有效的方法来提高微调时的鲁棒性来解决这一矛盾：集成零样本和微调模型的权重（WiSE-FT）。与标准微调相比，WiSE-FT 在分布偏移下提供了很大的准确度改进，同时保持了目标分布的

这部分⽤于告诉 Docker 运⾏的容器可以访问所有可⽤的 GPU。本⽂旨在为⽤⼾提供⼀个⽅便的⽅式来配置所需的 Python 环境，以便运⾏InternVL2。Docker，⽤⼾可以在隔离的容器中轻松设置和管理依赖项，⽆需担⼼与系统环境的冲突或其他依赖问。如果您的容器需要通过代理访问互联⽹，可以在此设置代理地址。⾸先，在有互联⽹连接的机器上构建 Docker 镜像。步骤 1：在本地机器上加载 Docker 镜像。问，⽤于指定要使⽤的 CUDA 设备编号。这是⽤于运⾏容器的 Docker 命令。

植物图像，涵盖 1081 个物种（类别）。Pl@ntNet-300K 的特点是类别模糊性高，类别不平衡性强。（如上文链接中的 1.1 版，而不是 1.0 版）。区别在于元数据文件，图像是相同的。选项是将存储模型权重和结果（指标）的目录的名称。您可以在文件中查看不同的选项。请注意，如果您想在另一个数据集上微调模型，则必须更改最后一层。如果您正在寻找论文中使用的超参数，您可以在。`utils.py 中的函数中找到示例。（在 Zenodo 中不可能），您可以。80% 的物种仅占图像总数的 11。

向人工通用智能迈进的关键步骤在于语言、多模态感知、行为以及世界模型的大融合。在这项研究中，我们引入了KOSMOS-1，一种可以感知通用模态、在上下文中学习（即 few-shot 学习）并遵循指令（即 zero-shot 学习）的多模态大型语言模型（MLLM）。具体来说，我们从头开始训练 KOSMOS-1，在网页规模的多模态语料库上进行训练，包括任意交错的文本和图像，图像-标题对，以及文本数据。

向人工通用智能迈进的关键步骤在于语言、多模态感知、行为以及世界模型的大融合。在这项研究中，我们引入了KOSMOS-1，一种可以感知通用模态、在上下文中学习（即 few-shot 学习）并遵循指令（即 zero-shot 学习）的多模态大型语言模型（MLLM）。具体来说，我们从头开始训练 KOSMOS-1，在网页规模的多模态语料库上进行训练，包括任意交错的文本和图像，图像-标题对，以及文本数据。

这一令人印象深刻的排名得到了作者的消融研究结果的证实，其中动态分割方法和视觉专家（VE）模块的融合显著提高了模型在视觉任务上的性能，同时保持了强大的语言能力。尽管其简单，但随着分辨率的提高和视频帧数的增加，ViT生成了大量的标记，这对后续的LLM处理提出了巨大的挑战。，以推动当前模型的边界。此外，作者的实验表明，这种策略支持在推理过程中动态池化，例如在训练时使用池化，在测试时使用池化，这在不牺牲性能的情况下提高了推理速度。因此，对于大量的高分辨率长时视觉特征，LLM的有限位置嵌入是不必要的浪费。

若从中抽去项 ( ai ) 和 ( a_j ) (i < j) 后剩余的 ( 4m ) 项可被平均分为 m 组，且每组的 4 个数都能构成等差数列，则称数列 ( a_1, a_2, \cdots, a{4m+2} ) 是 (i, j) - 可分数列。(1) 写出所有的 (i, j) (1 ≤ i < j ≤ 6)，使得数列 ( a_1, a_2, a_3, a_4, a_5, a_6 ) 是 (i, j) - 可分数列；接下来，我们再来看下国产大模型们的表现。那么，你觉得国产大模型们，

CLIP侧重于学习视觉-语言对齐,适用于图像分类、检索等任务。BLIP在CLIP的基础上,增强了生成能力,能够生成高质量图像描述,应用范围更广。BLIP通过CapFilt模块降低了训练数据噪声,提高了数据质量。新的BLIP-2模型进一步降低了训练成本,通过复用CLIP视觉编码器和大型语言模型实现了强大的视觉-语言理解和生成能力。

2021年见证了vision transformer的大爆发，随着谷歌提出ViT之后，一大批的vision transformer的工作席卷计算机视觉任务。除了vision transformer，另外一个对计算机视觉影响比较大的工作就是Open AI在2021年1月份发布的DALL-E和CLIP，这两个都属于结合图像和文本的多模态模型，其中DALL-E是基于文本来生成模型的模型，而CLIP是用文本作为监督信号来训练可迁移的视觉模型，这两个工作也像ViT一样带动了一波新的研究高潮。这篇文章将首先介绍CLIP

模型被要求将来自同一个样本的图像和文本嵌入映射到相近的位置，而将来自不同样本的嵌入映射到较远的位置。这种大规模的数据收集和自监督学习的方法，使得CLIP在理解和生成与图像相关的文本描述方面具有显著的优势。CLIP通过大量的图像和文本对来训练，使得模型在向量空间中将。它从互联网上的文本和图像数据中学习，使得它在各种领域的任务上都能够表现出色。），得到新的可直接进行比较的图像和文本的向量表示 𝐼𝑒Ie​ 和 𝑇𝑒Te​。中，这使得模型能够直接在向量空间中计算图像和文本之间的相似性，而无需额外的中间表示。

分割成固定大小的图像块(patches图像分割成 197 个特征维度为 768性投固定维度的向量空间位置编码,以保留图像的空间信息Transformer Encoder 中进行特征提取多头自注意力机制图像不同区域Encoder 的多层处理后,得到每个 patch 的高级特征[CLS] token 来聚合整个图像的固定维度的向图像的编码表示后续的对比学习通过这种方式,ViT 能够有效地捕捉图像的全局和局部特征,并且与CLIP 模型中的文本编码器产生可比较的特征表示。

文本编码器（在 Stable DiffusioViT-L/14这三个部分是相互独立的，其中最重要的是 UNET 结构。UNET 是从噪音中生成图像的主要组件，在预测过程中，通过反复调用 UNET，将 UNET 预测输出的从原有的噪声中去除，得到逐步去噪后的图像表示。Stable Diffusion Model 的UNET 包含约 860M的参数，以 float32 的精度编码大概需要3.4G 的存储空间。

AnswerQwen-VL是一种多模态大模型，旨在同时处理和理解文本与图像信息。

由于现有多模态大模型的基座取自大语言模型，其因果语言模型的特点使其在浅层时将前文 token 的信息聚合到 summary token，同时在深层时主要利用 summary token 中聚合的信息来预测整个序列的下一个 token（见下图图 a）。研究者们先让多模态大模型根据给定的图作出较长的回答，再根据各个 summary token 出现的不同位置将模型的回答划分为不同的子句，并且计算每个子句的 CHAIR 指标来评估子句中出现幻觉内容的程度。因此，人们不禁思考，多模态幻觉的成因究竟是什么？

ViT (Vision Transformer) 是一种纯 Transformer 架构,直接应用于图像分类任务,不依赖于卷积神经网络。

在2024世界人工智能大会“可信大模型助力产业创新发展论坛”上，支付宝展示了其在医疗领域的AI技术进展：发布多模态医疗大模型，并推出多款数智化解决方案，包括医疗可信一体机和可信云。大会现场，支付宝、人民卫生出版社、北京大学医学部、浙江省卫生健康委、厦门市卫生健康委员会、浙江省人民医院、上海交通大学医学院附属仁济医院、北京大学人民医院、复旦大学附属肿瘤医院、上海市第一人民医院等20多家机构和企业联合发起了AI医疗共建计划，共同探索大模型应用及各类专科模型的创新研发。LLM评测榜单promptCBLUE。

务, 如视觉 – 语言导航 [19], 视觉 – 语言大规模自监督预训练等 [7]. 相较于看图说话与问答任务, 这些。学习任务, 如空间音频驱动下的深度图生成 [64], 空间一致性约束下的多模态自监督学习 [65], 以及视觉。收稿日期: 2022–06–08;损失 [18], 或基于排序的损失 [70] 等度量学习相关的目标实现不同模态间的对齐关系学习, 以实现对不。第 6 节, 围绕多。看, 即式 (5), 时间对齐能够为在减小数据量 D 的基础上, 实现提取信息量的最大化, 而信息量的最大。

原创 AIGC小白入门记广东。

确实，在我众多的讨论中，我深信，多模态系统，尤其是 LMM，将比大语言模型有更深远的影响。我们常见的语言模型是根据前面的文本 Token 来猜测下一个 Token 是什么，但Flamingo 进行了创新，它同时考虑了文字和图片，根据前面的文本和视觉 Token 预测下一个文本 Token。去年，几乎每周都有研究团队推出自己的LMM，比如 DeepMind 的 Flamingo、Salesforce 的 BLIP、微软的 KOSMOS-1、Google 的 PaLM-E，还有腾讯的 Macaw-LLM。

模型结构和设计思路（来源文末的丁铭博士的分享PPT）随手测试了一张图，效果还是很不错的。随手体验了下，感觉还不错当前该开源方案由于数据量、模型参数量、是否用户意图对齐等限制，方案存在的一些局限性。图像描述事实性/模型幻觉问题。在生成图像长描述的时候，距离图像较远时，语言模型的将占主导，有一定可能根据上下文生成并不存在于图像的内容。属性错配问题。在多物体的场景中，部分物体的某些属性，经常被错误安插到其他物体上。分辨率问题。本项目使用了224*224的分辨率，也是视觉模型中最为常用的尺寸；

在此次线上分享中，大家可以跟随她的讲述，了解近期关于医学知识增强的多模态基础模型的相关研究，并展望基础模型能够从医学知识增强的角度出发，通过结合医学的强先验背景知识，提取适配医疗场景的多模态数据表征，降低数据依赖，开发出更适合医学领域的成果。为了让大家更细致地了解医疗领域模型的进展，机器之心线上分享邀请到了上海交通大学未来媒体网络协同创新中心在读博士生、上海人工智能实验室智慧医疗研究中心见习研究员张小嫚，以《医学知识增强的多模态基础模型研究》为主题，为大家分享最新研究成果。

多模态大型语言模型（MLLMs）的高速发展彰显了其在处理图文信息方面的强大潜力。然而，目前的多模态模型和方法主要集中于处理基础视觉问答（VQA）任务，这些任务通常只涉及与问题强相关的有限图片和文本信息。在实际应用中，尤其是文档理解领域，模型经常需要处理更为复杂的图文混合输入，这些输入不仅长度更长，而且可能包含冗余甚至误导性的信息。现有的主流MLLMs在处理此类复杂任务时表现不佳，且缺乏相应的Benchmark来评估模型在这些任务上的性能。近日，来自厦门大学纪荣嵘团队提出了一个全新的。

为了处理训练数据集中数量众多和大小差异显著的问题，InstructBLIP采用了平衡采样策略，根据数据集大小的平方根比例来选择数据样本，以确保模型不会对较小的数据集过拟合，也不会对较大的数据集拟合不足。：InstructBLIP在特定下游任务上的微调性能也得到了验证，与BLIP-2相比，InstructBLIP提供了更好的权重初始化模型，并在多个数据集上实现了SOTA性能。根据BLIP-2的论文，Q-Former已经分成两个阶段进行了预训练，通过预训练，它学会了提取可以被LLM消化的文本对齐的视觉特征。