Idefics2 简介: 为社区而生的强大 8B 视觉语言模型

于 2024-05-15 18:31:03 发布
阅读量1.2k 收藏 21
点赞数 26
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HuggingFace/article/details/138937274
版权

cf9a254099734a9bb6f9cdc6cc9c0209.png

我们很高兴在此发布 Idefics2，这是一个通用的多模态模型，接受任意文本序列和图像序列作为输入，并据此生成文本。它可用于回答图像相关的问题、描述视觉内容、基于多幅图像创作故事、从文档中提取信息以及执行基本的算术运算。

  • Idefics2https://hf.co/HuggingFaceM4/idefics2-8b

Idefics2 由 Idefics1 改进而得，其参数量为 8B，具有开放许可 (Apache 2.0) 并大大增强了 OCR (光学字符识别) 功能，因此有望成为多模态社区坚实的基础模型。其在视觉问答基准测试中的表现在同规模模型中名列前茅，并可与更大的模型 (如 LLava-Next-34B 以及 MM1-30B-chat) 一较高下。

  • Idefics1https://hf.co/blog/idefics

  • LLava-Next-34Bhttps://hf.co/liuhaotian/llava-v1.6-34b

  • MM1-30B-chathttps://hf.co/papers/2403.09611

Idefics2 甫一开始就集成在 🤗 Transformers 中，因此社区可以直接基于它面向很多多模态应用进行微调。你当下就可在 Hub 上试用 该模型！

  • 模型页面https://hf.co/HuggingFaceM4/idefics2-8b

ce4927e5e77b7580eef4e7e37fb99ddd.png

模型权重是否开放尺寸每图像词元数MMMU
(val/test)		MathVista
(testmini)		TextVQA
(val)		MMBench
(test)		VQAv2
(test-dev)		DocVQA
(test)
DeepSeek-VL✅7B57636.6/-36.164.473.2-49.6
LLaVa-NeXT-Mistral-7B✅7B288035.3/-37.765.768.782.2-
LLaVa-NeXT-13B✅13B288036.2/-35.367.170.082.8-
LLaVa-NeXT-34B✅34B288051.1/44.746.569.579.383.7-
MM1-Chat-7B❌7B72037.0/35.635.972.872.382.8-
MM1-Chat-30B❌30B72044.7/40.339.473.575.183.7
Gemini 1.0 Pro❌🤷‍♂️🤷‍♂️47.9/-45.274.6-71.288.1
Gemini 1.5 Pro❌🤷‍♂️🤷‍♂️58.5/-52.173.5-73.286.5
Claude 3 Haiku❌🤷‍♂️🤷‍♂️50.2/-46.4---88.8










Idefics1 指令版 (32-shots)✅80B---39.3-68.8-










Idefics2 (不切图) *✅8B6443.5/37.951.670.476.880.867.3
Idefics2  (切图) *✅8B32043.0/37.751.473.076.781.274.0

  • DeepSeek-VLhttps://hf.co/deepseek-ai/deepseek-vl-7b-chat

  • LLaVa-NeXT-Mistral-7Bhttps://hf.co/liuhaotian/llava-v1.6-mistral-7b

  • LLaVa-NeXT-13Bhttps://hf.co/liuhaotian/llava-v1.6-vicuna-13b

  • LLaVa-NeXT-34Bhttps://hf.co/liuhaotian/llava-v1.6-34b

  • Idefics1 指令版https://hf.co/HuggingFaceM4/idefics-80b-instruct

  • 切图: 遵循 SPHINX 和 LLaVa-NeXT 的策略，允许算法选择将图切成 4 幅子图。

训练数据

Idefics2 在预训练时综合使用了多种公开数据集，包括: 图文网页 (维基百科，OBELICS) 、图文对 (Public Multimodal Dataset、LAION-COCO) 、OCR 数据 (PDFA (en)、IDL、Rendered-text，以及代码 - 渲染图数据 (WebSight) )。

  • OBELICShttps://hf.co/datasets/HuggingFaceM4/OBELICS

  • PDFA (en)https://hf.co/datasets/pixparse/pdfa-eng-wds

  • IDLhttps://hf.co/datasets/pixparse/idl-wds

  • Rendered-texthttps://hf.co/datasets/wendlerc/RenderedText

  • WebSighthttps://hf.co/datasets/HuggingFaceM4/WebSight

我们使用了 这个交互式可视化 工具对 OBELICS 数据集进行探索。

  • 这个交互式可视化https://atlas.nomic.ai/map/f2fba2aa-3647-4f49-a0f3-9347daeee499/ee4a84bd-f125-4bcc-a683-1b4e231cb10f

遵循基础模型社区的惯例，我们也在各种任务数据集上对基础模型进行了指令微调。此时，由于各任务数据集的格式各不相同，且分散在不同的地方，如何将它们汇聚起来是社区面临的一大难题。为了解决这个问题，我们发布了筹措良久的多模态指令微调数据集: The Cauldron (丹鼎) ，它是我们手动整理的、包含 50 个开放数据集的、多轮对话格式的合辑式数据集。我们的指令微调 Idefics2 模型的训练数据将 The Cauldron 和各种纯文本指令微调数据集的串接而得。

  • The Cauldron (丹鼎)https://hf.co/datasets/HuggingFaceM4/the_cauldron

1d5125042d41bc8878e6cda658b3af8c.png

对 Idefics1 的改进

  • 我们按照 NaViT 策略以原始分辨率 (最大为 980 x 980) 和原始宽高比操作图像。这免去了传统的将图像大小调整为固定尺寸正方形的做法。此外，我们遵循 SPHINX 的策略，并允许切图以及传入非常大分辨率的图像 (可选项)。

  • 我们增加了图像或文档中文本识别的训练数据，这显著增强了 OCR 能力。我们还通过增加相应的训练数据提高了模型回答图表、数字和文档问题的能力。

  • 我们放弃了 Idefics1 的架构 (门控交叉注意力) 并简化了视觉特征到语言主干的投影子模型。图像先被通过到视觉编码器，再通过已训的感知器池化和 MLP 从而完成模态投影。然后，将所得的池化序列与文本嵌入连接起来，以获得一个图像和文本的交织序列。

所有这些改进叠加上更好的预训练主干网络，使得模型的性能与 Idefics1 相比有显著提升，且尺寸缩小了 10 倍。

31ba827a2dc31fe37135dea44c646421.png

Idefics2 入门

Idefics2 可在 Hugging Face Hub 上使用，并已被最新的 transformers 版本支持。以下给出了一段示例代码:

import requests
import torch
from PIL import Image

from transformers import AutoProcessor, AutoModelForVision2Seq
from transformers.image_utils import load_image

DEVICE = "cuda:0"

# Note that passing the image urls (instead of the actual pil images) to the processor is also possible
image1 = load_image("https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg")
image2 = load_image("https://cdn.britannica.com/59/94459-050-DBA42467/Skyline-Chicago.jpg")
image3 = load_image("https://cdn.britannica.com/68/170868-050-8DDE8263/Golden-Gate-Bridge-San-Francisco.jpg")

processor = AutoProcessor.from_pretrained("HuggingFaceM4/idefics2-8b")
model = AutoModelForVision2Seq.from_pretrained(
    "HuggingFaceM4/idefics2-8b",
).to(DEVICE)

# Create inputs
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "What do we see in this image?"},
        ]
    },
    {
        "role": "assistant",
        "content": [
            {"type": "text", "text": "In this image, we can see the city of New York, and more specifically the Statue of Liberty."},
        ]
    },
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "And how about this image?"},
        ]
    },
]
prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=prompt, images=[image1, image2], return_tensors="pt")
inputs = {k: v.to(DEVICE) for k, v in inputs.items()}

# Generate
generated_ids = model.generate(**inputs, max_new_tokens=500)
generated_texts = processor.batch_decode(generated_ids, skip_special_tokens=True)

print(generated_texts)

我们还提供了一个微调 colab notebook，希望能帮到想在自有用例上微调 Idefics2 的用户。

  • colab notebookhttps://colab.research.google.com/drive/1NtcTgRbSBKN7pYD3Vdx1j9m8pt3fhFDB?usp=sharing

2a40a91b93daadac2a7d255a05991643.png

资源

如欲进一步深入，下面列出了 Idefics2 所有资源:

  • Idefics2 合集https://huggingface.co/collections/HuggingFaceM4/idefics2-661d1971b7c50831dd3ce0fe

  • Idefics2 模型及模型卡https://huggingface.co/HuggingFaceM4/idefics2-8b

  • Idefics2-base 模型及模型卡https://huggingface.co/HuggingFaceM4/idefics2-8b-base

  • Idefics2-chat 模型及模型卡 (即将推出)

  • The Cauldron 及数据集卡https://huggingface.co/datasets/HuggingFaceM4/the_cauldron

  • OBELICS 及数据集卡https://huggingface.co/datasets/HuggingFaceM4/OBELICS

  • WebSight 及数据集卡https://huggingface.co/datasets/HuggingFaceM4/WebSight

  • Idefics2 微调 colabhttps://colab.research.google.com/drive/1rm3AGquGEYXfeeizE40bbDtcWh5S4Nlq?usp=sharing

  • Idefics2-8B 模型演示 (非聊天模型)https://huggingface.co/spaces/HuggingFaceM4/idefics-8b

  • Idefics2 演示 (即将推出)

  • Idefics2 paper (即将推出)

许可

本模型是两个预训练模型构建的: Mistral-7B-v0.1 以及 siglip-so400m-patch14-384，这两者都是基于 Apache-2.0 许可证发布的。

  • Mistral-7B-v0.1https://hf.co/mistralai/Mistral-7B-v0.1

  • siglip-so400m-patch14-384https://hf.co/google/siglip-so400m-patch14-384

因此，我们基于 Apache-2.0 许可证发布了 Idefics2 权重。

致谢

感谢 Google 团队和 Mistral AI 向开源 AI 社区发布并提供他们的模型！

特别感谢 Chun Te Lee 的柱状图，以及 Merve Noyan 对博文的评论和建议 🤗。

英文原文: https://hf.co/blog/idefics2

原文作者: Leo Tronchon，Hugo Laurençon，Victor Sanh

译者: Matrix Yao (姚伟峰)，英特尔深度学习工程师，工作方向为 transformer-family 模型在各模态数据上的应用及大规模模型的训练推理。

Hugging Face
关注
博客
大模型评估排障指南 | 关于 LaTeX 公式解析
05-07 171
或者往代码里添加人工检查来提高模型得分。在几乎陷入问题陷阱之后，我们认为在代码中添加字符串比较检查差不多就能缓解这个问题了。解析真值 (用真值自身对比测试) 只能得到约 0.94 的准确率。来表示数学领域的计算和符号。评估难点在于对模型输出与标准答案的解析和比较。(一个用于符号数学的 Python 库) 来对 LaTeX 进行解析和比较。的模型时经常会遇到，例如 Hugging Face 的。解析 LaTeX 很难。这个问题在评估输出为。lm-evaluation 框架使用。无法解析某些 (标准的。
博客
设计即合规: 开放AI生态中的用户数据治理实践
04-30 533
通过将数据完全保留在用户的本地环境中，它从根本上改变了传统的 “知情同意” 模式，使许多对数据外泄的担忧变得不再成立，除非用户主动设置将数据传出。这种分布式的方法也促成了多种用户知情同意机制的实践形式 —— 既包括强调 “隐私优先设计” (privacy-by-design) 原则的严格框架，也包括为大规模数据集提供“选择退出” (opt-out) 通道的灵活机制。与那些更复杂、长期的数据管理系统不同，该方法强调的是即时、基于当前会话的控制，让用户在每一次使用时都能清楚地掌控自己的数据使用权。
博客
大模型评估排障指南 | 关于推理
04-24 741
即在 layer 级拆分模型，不同的 layer 被分配到不同的 GPU 上。由于推理时前向过程是线性的，例如 layer 1 的输出是 layer 2 的输入，因此 layer 2 分配的 GPU 需要等待 layer 1 的计算结束才能开始 (也叫 “冒泡 (bubble)”)，同时数据和中间结果也需要 GPU 间传输，这也就导致执行速度较慢。更一般地，确保输入模型的样本的上下文大小是按从大到小的顺序，这样如果上下文大小过大，模型就会直接报错，避免了模型一开始正常运行，直到某个时间才出问题。
博客
让 LLM 来评判 | 技巧与提示
04-09 609
例如，成对比较模型的训练集数据格式中提供了参考答案，如果在评估时没有给定参考答案或者给定的参考答案格式有误，那么评估结果就不可信。例如在某些特定领域 (如医学、法律、数学等)，如果标注员专业性不够，那么得到的结果可能跟直接采用 LLM 一样差。：同一 prompt 输入评估模型执行多次得到的结果可能不一样 (如果温度参数不设为 0)。例如对于施加了相同程度噪声的文本，使用评估模型评估文本质量的评分无法反映噪声的程度。缓解措施：仔细遵循评估模型训练集 prompt 格式 (比如指令微调模型的格式)。
博客
Open R1 项目进展第三期
04-03 565
虽然最终子任务通常是完整问题，但其他大多数子任务往往是难度较低的问题，参赛者可以选择解决部分子任务以获得部分分数，而不是尝试完美解决完整问题 (完美得分非常罕见)。虽然我们计划未来通过模型生成并验证更多具有挑战性的测试用例，添加到我们的 CodeForces 数据集中，但目前我们转向了其他地方寻找完整可用的题目数据。具体来说，我们先提交针对问题最后一个子任务的解决方案，然后依次提交针对倒数第二个、第三个子任务的代码，同时跳过已解决的子任务。不过不管怎样，我们试过的所有数据集里，打包的表现都不如不打包。
博客
Open R1 项目进展第二期
03-31 1060
虽然我们升级了 Math-Verify，让它能更好地处理这些怪格式 (后面会讲改进)，但还是找了个备用方案: 用 Llama-3.3-70B-Instruct 当“裁判”，从被拒的答案里救回一些靠谱的。DeepSeek 团队生成了 60 万条推理记录，用来微调 Qwen 和 Llama 系列模型，结果证明，不用强化学习，直接从 R1 “蒸馏”出来的效果也很棒。除此之外，我们还聊聊社区里一些让人兴奋的进展，比如怎么整理出小而精的高质量数据集来微调模型，以及如何在训练和推理时控制推理模型的“思考步数”。
博客
Open R1 项目进展第一期
03-28 952
但效果不好，吞吐量低，只能同时处理 8 个请求，GPU 的 KV 缓存很快就满了。DeepSeek R1 发布已经两周了，而我们启动 open-r1 项目——试图补齐它缺失的训练流程和合成数据——也才过了一周。我们这才刚起步呢，打算把训练流程弄完，在小模型上试试，再用放大版的推理流程搞出高质量的数据集。虽然大家还在研究 DeepSeek-R1 的成果和报告，但这款模型在发布短短两周后，就已经火遍了大街小巷，吸引了无数目光。: 一个超棒的合成推理数据集，有 114k 个例子，数学、科学、代码、谜题啥都有。
博客
为什么 AI 模型离科学革命还差得很远？
03-26 929
文章的核心观点是，在未来一两年内，我们将拥有一个“装在数据中心里的爱因斯坦之国”，所有 21 世纪的科学发现将在短短 5 到 10 年内被一股脑地完成，从而压缩了整个世纪的科技进程。现在，我们评估 AI 模型智能提升的方式，大多是通过一些“高难度考试题”，比如所谓的“人类的最后一场考试”或 “Frontier Math”，这些测试由博士生设计，问题复杂但都是封闭式、明确有标准答案的题目。在我看来，按照当前的发展路径，我们真正可能得到的，是“一国的服务器上全是唯唯诺诺的好学生”，而不是爱因斯坦。
博客
常见的 AI 模型格式
03-25 790
GGUF 格式的 Llama-3.1 8B 模型示例，链接https://hf.co/bartowski/Meta-Llama-3.1-8B-Instruct-GGUF/tree/main。虽然也可以将其用于其他类型的模型，例如通过stable-diffusion.cpp实现的扩散模型，但这并不像在语言模型中的应用那样普遍。
博客
SmolVLM2: 让视频理解能力触手可及
03-21 915
模型与演示全集https://hf.co/collections/HuggingFaceTB/smolvlm2-smallest-video-lm-ever-67ab6b5e84bf8aaa60cb17c7。虽然属于实验性发布，但期待它能激发更多创新应用。微调笔记https://github.com/huggingface/smollm/blob/main/vision/finetuning/SmolVLM2_Video_FT.ipynb。我们推出三款新模型 (2.56 亿/5 亿/22 亿参数)。
博客
在 Hugging Face Spaces 上使用 Gradio 免费运行 ComfyUI 工作流
03-18 712
在本教程中，我将逐步指导如何将一个复杂的 ComfyUI 工作流转换为一个简单的 Gradio 应用程序，并讲解如何将其部署在 Hugging Face Spaces 的 ZeroGPU 无服务器架构上，这样可以让它以无服务器的方式免费部署和运行。不过，你可能需要根据本教程中学到的知识进行一些修正。虽然需要一些基础的编程知识，但我鼓励初学者尝试跟随本教程，因为它可以作为一个很好的 Python、Gradio 和 Hugging Face Spaces 的入门指南，不需要太多的编程经验。
博客
在 Hugging Face 上部署语音转语音模型
03-11 883
介绍S2S (语音到语音)是 Hugging Face 社区内存在的一个令人兴奋的新项目，它结合了多种先进的模型，创造出几乎天衣无缝的体验: 你输入语音，系统会用合成的声音进行回复。https://github.com/huggingface/speech-to-speech该项目利用 Hugging Face 社区中的 Transformers 库提供的模型实现了流水化处理。该流程处理由以下组件...
博客
LayerSkip: 使用自推测解码加速大模型推理
03-10 920
自推测解码是一种新颖的文本生成方法，它结合了推测解码 (Speculative Decoding) 的优势和大语言模型 (LLM) 的提前退出 (Early Exit) 机制。该方法出自论文LayerSkip: Enabling Early-Exit Inference and Self-Speculative Decoding。它通过使用 同一个模型 的早期层来生成候选词元 (token)，并使...
博客
从文件到块: 提高 Hugging Face 存储效率
03-03 703
Hugging Face 在Git LFS 仓库中存储了超过30 PB 的模型、数据集和 Spaces。由于 Git 在文件级别进行存储和版本控制，任何文件的修改都需要重新上传整个文件。这在 Hub 上会产生高昂的成本，因为平均每个 Parquet 和 CSV 文件大小在 200-300 MB 之间，Safetensor 文件约 1 GB，而 GGUF 文件甚至可能超过 8 GB。设想一下，仅仅修...
博客
让 LLM 来评判 | 设计你自己的评估 prompt
02-26 633
这是 让 LLM 来评判 系列文章的第三篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示通用 prompt 设计建议我总结的互联网上通用 prompt 的通用设计原则如下:任务描述清晰:Your task is to do X (你的任务是 X).You will be provided with Y (你拿到的信息是 Y...
博客
AI 艺术工具通讯
02-20 972
创刊号 ????AI 领域的发展速度令人惊叹，回想一年前我们还在为生成正确手指数量的人像而苦苦挣扎的场景，恍如隔世 ????。过去两年对开源模型和艺术创作工具而言具有里程碑意义。创意表达的 AI 工具从未像现在这般触手可及，然而这仅仅是冰山一角。让我们共同回顾 2024 年 AI 艺术领域的关键突破与创新工具，并展望 2025 年的发展趋势 (剧透预警 ????: 我们将启动月度资讯精选的订阅????)。2024 重大发...
博客
让 LLM 来评判 | 奖励模型相关内容
02-14 556
这是 让 LLM 来评判 系列文章的第五篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示什么是奖励模型？奖励模型通过学习人工标注的成对 prompt 数据来预测分数，优化目标是对齐人类偏好。训练完成后，奖励模型可以作为人工评估代理的奖励函数，用来改进其他模型。成对比较评分最常见的奖励模型类型是 Bradley-Terry ...
博客
让 LLM 来评判 | 评估你的评估结果
02-10 301
这是 让 LLM 来评判 系列文章的第三篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示在生产中或大规模使用 LLM 评估模型之前，你需要先评估它在目标任务的表现效果如何，确保它的评分跟期望的任务表现一致。注：如果评估模型的输出结果是二元分类，那么评估会相对简单，因为可使用的解释性分类指标有很多 (如准确率、召回率和精确率...
博客
让 LLM 来评判 | 选择 LLM 评估模型
01-14 640
这是 让 LLM 来评判 系列文章的第二篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示使用现有的 LLM 评估模型时，你可以选择：通用性强、能力高的大模型、专业性强、特定数据偏好的小模型、或自行训练模型。通用性强、能力高的大模型https://arxiv.org/abs/2306.05685v4专业性强、特定数据偏好的小...
博客
让 LLM 来评判 | 基础概念
01-10 645
这是 让 LLM 来评判 系列文章的第一篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示什么是评估模型？评估模型 (Judge models) 是一种 用于评估其他神经网络的神经网络。大多数情况下它们用来评估生成文本的质量。评估模型涵盖的范围很广，从小型的特定分类器 (例如 “垃圾邮件分类器”) 到大型的 LLM，或大而广...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值