微软Florence-2：一统视觉基础模型

最新推荐文章于 2025-02-23 23:56:37 发布
最新推荐文章于 2025-02-23 23:56:37 发布
阅读量1k 收藏
点赞数
分类专栏： 智能语音对话与AI大模型 文章标签： 人工智能 chatgpt 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AIMasterStar/article/details/140361769
版权

论文地址：https://arxiv.org/pdf/2311.06242

Huggingface开源地址：Florence - a microsoft Collection

  1. 论文首次公开于23年11月10日，发表在CVPR2024，模型开源于24年6月14日 （数据未开源）

  2. 开发了一个全面、大规模、高质量的多任务数据集 FLD-5B，包括 1.26 亿张图像、5 亿个文本注释、13 亿个文本-区域注释和 36 亿个文本短语-区域注释

  3. 两个版本模型：230M (90+140) 和 770M (360+410)，在大多数基准中，甚至打败了多数大 100 倍的 LVM的模型，就像Phi-3一样，表明了数据质量非常重要

  4. 只需要一个指令，就可以完成诸如检测、分割、OCR、描述等各种各样的视觉和视觉语言任务</

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Florence-2：推进多种视觉任务的统一表征 [论文解读]
强化学习曾小健
09-27 1775
我们推出了Florence-2，这是一种新颖的视觉基础模型，具有统一的、基于提示的表示，可用于各种计算机视觉和视觉语言任务。虽然现有的大型视觉模型在迁移学习方面表现出色，但它们难以用简单的指令执行各种任务，这种能力意味着处理各种空间层次和语义粒度的复杂性。Florence -2旨在将文本提示作为任务指令，并以文本形式生成理想的结果，无论是字幕、对象检测、基础还是分割。这种多任务学习设置需要大规模、高质量的注释数据。为此，我们共同开发了FLD-5B，它包含 1.26 亿张图像上的 54 亿条综合视觉注释，使用
【多模态视觉大模型】Florence-2代码
最新发布
weixin_43148969的博客
02-24 1201
束搜索（Beam Search）是一种在序列生成任务（如机器翻译、文本生成、图像描述生成等）中常用的搜索算法，用于在给定模型和输入的情况下，找到最优的输出序列。在序列生成过程中，每一步都有多种可能的选择（例如在生成文本时，每个时间步都有众多词汇可供选择）。表示束宽为 3，即模型在生成序列的每一步会保留得分最高的 3 个候选序列，通过这种方式来生成更优的文本序列。此时，束搜索会从这 6 个扩展后的序列中选择得分最高的 2 个，假设是。然后在第三步继续扩展这两个序列，重复上述过程，直到生成完整的序列。
Florence-2-large模型的安装与使用教程
gitblog_02849的博客
12-12 3804
Florence-2-large模型的安装与使用教程 Florence-2-large 项目地址: https://gitcode.com/mirrors/Microsoft/Florence-2-large ...
Florence-2视觉语言模型简明教程
新缸中之脑
10-22 3274
Florence-2 由微软于 2024 年 6 月发布。它旨在在单个模型中执行多项视觉任务。它是一个开源模型，在 Hugging Face 上根据宽松的 MIT 许可证提供。
ComfyUI 速度更快，显存占用更低的图像反推模型Florence2PromptGen，效果媲美JoyCaption，还支持Flux训练打标
weixin_55154866的博客
02-15 1012
我们之前介绍的图像反推工具Joy_caption，虽然可以带来最好的反推效果，但是以其7.7G的显存占用量劝退了大部分用户。带来了全新的Florence2-PromptGen，它在显存占用上最低仅有0.7G，却能提供与Joy_caption相媲美的精准度，无疑是性价比的一次飞跃。
微软 Florence-2：多功能视觉模型
weixin_51674085的博客
06-21 1127
系列模型，使用提示（prompt-based approach）来处理不同的视觉任务。, 也有一个非官方的 ComfyUI。可以在 HF Space 上。
Florence2：微软出品！多任务视觉轻量模型！图像反推、语义分割、文字识别等等
jingtian2024的博客
11-07 567
Florence2是一款强大且高效的视觉识别模型，集成了图片文本识别、对象检测和语义分割三大功能。相比其他大型模型，它速度更快、占用空间更小。Florence2还提供了可微调版本，针对特定任务进行优化，并内置多种模式，无需额外插件即可执行不同任务，尤其在文字识别上表现准确。
【重磅消息】微软开源了自家的Florence-2，处理各种视觉任务的统一模型
weixin_41446370的博客
06-21 6450
总之，Florence-2 是一个开创性的视觉基础模型，展示了多任务学习以及文本和视觉信息融合的巨大潜力。它为各种任务提供了高效的解决方案，而无需进行大量的微调。该模型能够处理从图像级理解到细粒度视觉语义配准等各种任务，标志着向统一视觉基础迈出了重要一步。Florence-2 的架构体现了序列到序列学习的威力，为综合表征学习树立了新的标准。展望未来，Florence-2 为未来的视觉基础模型铺平了道路。它的成功强调了在训练中考虑不同任务和粒度水平的重要性，从而有望建立适应性更强、更稳健的机器学习模型。
Florence2:使用LLM助力你的AI绘图，仅需一个模型搞定提示反推&对象检查&蒙版识别&文字识别&咨询建议多功能一体
阿道夫的博客
08-01 3701
大家好我是阿道夫！！！Florence2是一款革命性的AI绘图工具，它将LLM（大型语言模型）的强大功能与AI绘图技术完美结合。本文将介绍Florence2的五大核心功能：提示反推、对象检查、蒙版识别、文字识别及咨询建议，以及如何使用一个模型轻松搞定这些功能，助力您的AI绘图创作。在LLM大语言模型快速发展下，视觉大模型已成为主流，能够精准的等，甚至可以根据输入图像实现等，模拟现实世界物理运动反馈和回应。同时以SD、MJ为首的绘图模型在下也得到的快速的发展，模仿垫图一直是绘图过程中重要需求之一。
【多模态视觉大模型】Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks
weixin_43148969的博客
02-23 979
通过数据引擎，我们构建了一个大规模的训练集（FLD-5B），其中包含1.26亿张图像、超过5亿条文本注释、13亿条区域-文本注释，以及36亿条文本-短语-区域注释。每张图像都有文本、区域-文本对以及文本-短语-区域三元组的注释，并且每种注释类型都有多个实例，这些实例在不同的粒度上有所变化。一张图像及其相应注释的示例可见图4。我们在表1中对我们的数据集与常用于训练基础模型的现有数据集进行了比较。与之前的数据集相比，我们的数据集有几个优势，例如总注释数量更多，并且每张图像的平均注释数量也更多。
视觉-语言模型 Florence-VL：基于生成型视觉编码器与深度-广度融合技术
12-28
Florence-VL 利用生成型视觉基础模型 Florence-2 提供丰富的视觉表示，并提出了“深度-广度融合”（DBFusion）架构，有效地将多种视觉特征集成到预训练的语言模型中。该模型经过图像详细字幕数据和高质量指令调优...
微软全新开源视觉语言模型！能够执行超过10种不同的视觉任务，检测、分割、识别一切图片
m0_59235245的博客
11-19 982
Florence-2：微软全新开源视觉模型！当遇到如下场景，我们希望有一个AI模型能马上给出答案：上传一张超市货架的照片，让其精准找出牛奶的所在位置。上传一张公园里的照片，让模型给该图像起一个对应的标题。上传一张果园果树的照片，让模型解释一下该果树上有多少可摘的水果。上述不同的视觉任务的理解需要大模型的支持，最近Microsoft 推出了多模态视觉语言模型（VLM）Florence-2，该模型能够执行超过10种不同的视觉任务，包括图像字幕生成、目标检测、图像区域关联和分割等。
Florence-2模型：开启统一视觉基础模型的新篇章
寻道AI，探索AI无限可能！
07-10 2482
Florence-2是由微软Azure AI团队开发的一款多功能、统一的视觉模型。它通过统一的提示处理不同的视觉任务，表现出色且优于许多大型模型。Florence-2的设计理念是将文本提示作为任务指令，并以文本形式生成理想的结果，无论是字幕、对象检测、基础还是分割。
在目标检测数据集上微调Florence-2
u012374012的专栏
07-10 2081
Florence-2是由微软开源的轻量级视觉-语言模型，采用MIT许可。该模型在任务如图像描述、目标检测、定位和分割中展示了强大的零样本和微调能力。图1。图示展示了每个任务所表达的空间层次和语义细粒度水平。来源：Florence-2：推进多种视觉任务的统一表示。该模型将图像和任务提示作为输入，并以文本格式生成所需结果。它使用DaViT视觉编码器将图像转换为视觉标记嵌入，然后将这些嵌入与BERT生成的文本嵌入连接在一起，并通过基于Transformer的多模态编码器-解码器处理，以生成响应。图2。
微软 Azure AI 团队新作 | Florence-2: 解锁视觉新境界，万能感知引领未来！
专注计算机视觉全栈知识分享
11-22 2281
Florence 项目致力于开发一个基础的视觉模型，具有多样的感知能力，涵盖空间层次和语义粒度。为此，作者构建了 FLD-5B 数据集，其中包含了 126M 张图像，配对有由 Florence 数据引擎收集的 50B 全面的注释。随后，通过全面的多任务学习以统一的方式在这个丰富的数据集上对 Florence-2 进行预训练。Florence-2 展示出卓越的零样本能力，覆盖广泛的视觉任务，包括字幕生成、目标检测、视觉定位和引用分割等。
Grounding DINO 与 Florence-2：视觉语言模型的双星闪耀
2401_85343303的博客
11-25 1723
更注重结合文本和图像信息进行目标检测和定位，通过特征增强和跨模态解码实现这一点。Florence-2则通过多任务提示和Transformer架构处理多种视觉任务，生成详细的图像描述和对象定位信息，适用于更广泛的任务场景。两者的主要区别在于输入处理方式、特征融合方法和输出内容的多样性。Grounding DINO集中于目标检测和定位，而Florence-2则提供了更为全面的视觉任务解决方案。在计算机视觉与自然语言处理融合的道路上，和Florence-2都是里程碑式的模型。
ComfyUI Florence2节点加载模型失败
修炼之路
10-24 5787
设置完成之后，记得重启ComfyUI，后面再需要从huggingface上下载的时候会直接使用镜像的地址，但是有时候下载也很慢，而模型文件几个G也要下载半天。目录下，在使用下面节点的时候，提示模型加载失败，从日志中可以看出是因为从huggingface上下载模型的时候失败了。由于国内与hugginface的官网连接有时候会有问题，所以下载的时候会出现异常情况。，从hugging face上下载了。模型为例，将下载的文件放到下面目录下。3. 手动下载然后上传到服务器。安装完成之后，根据要求安装了。
微调 Florence-2 - 微软的尖端视觉语言模型
Hugging Face
07-15 1316
Florence-2 是微软于 2024 年 6 月发布的一个基础视觉语言模型。该模型极具吸引力，因为它尺寸很小 (0.2B 及 0.7B) 且在各种计算机视觉和视觉语言任务上表现出色。Florence 开箱即用支持多种类型的任务，包括: 看图说话、目标检测、OCR 等等。虽然覆盖面很广，但仍有可能你的任务或领域不在此列，也有可能你希望针对自己的任务更好地控制模型输出。此时，你就需要微调了！本文，...
comfyui-florence2模型
01-17
### ComfyUI Florence2 模型介绍 ComfyUI-Florence2 是一个集成于 ComfyUI 平台中的先进多任务学习模型，专门设计用于处理复杂的计算机视觉任务[^1]。该模型能够通过简单的文本提示来执行多种操作，包括但不限于图像描述、物体检测以及分割等。 #### 技术特点 Florence2 基于强大的序列到序列架构构建而成，在零样本和微调场景下均能表现出色。这种灵活性使得用户可以轻松应对各种不同的应用场景而无需担心性能下降的问题[^4]。 --- ### 下载指南 为了顺利使用 ComfyUI-Florence2 模型，需按照如下步骤进行下载： 1. 访问 Hugging Face 官方网站并找到 `Florence-2-large` 模型页面； 2. 将模型文件下载至本地机器上的指定位置（通常为 `ComfyUI/models/LLM` 文件夹内）；如果遇到下载失败的情况，则可能是网络连接不稳定或其他原因造成的错误[^2]； 3. 确认下载完成后，重启 ComfyUI 应用程序以使新添加的模型生效。 > **注意**: 如果在加载过程中仍然出现问题，请检查是否有权限访问目标存储路径，并确保所有依赖项均已正确安装。 --- ### 使用教程 当一切准备就绪后，可以通过以下方式开始体验 ComfyUI-Florence2 的强大功能： ```yaml plugin: name: Comfyui_image2prompt version: 1.0.0 models: - name: florence2_large path: models/florence2_large/ settings: max_prompt_length: 100 enable_auto_download: false ``` 上述 YAML 配置展示了如何设置插件及其关联模型的具体参数。其中特别需要注意的是要将 `enable_auto_download` 设置为 `false` 来防止不必要的重复下载行为发生[^3]。 对于具体的 Python 脚本编写部分，可以根据实际需求调整输入输出逻辑，这里提供了一个简单示例供参考： ```python from comfyui_florence2 import load_model, generate_description model_path = "models/florence2_large/" image_file = "example.jpg" # 加载预训练好的 Florence2 模型实例 florence2 = load_model(model_path) # 对给定图片生成自然语言描述 description = generate_description(florence2, image_file) print(description) ``` 此代码片段实现了从加载模型到获取图片描述的功能流程展示。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AIMasterStar

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值