GPT4 multi-modal input, 使用GPT处理图像

最新推荐文章于 2025-11-13 18:34:30 发布
原创 最新推荐文章于 2025-11-13 18:34:30 发布 · 683 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#gpt

Reza.
关注
【多模态】gpt4o的接口使用实践
同学小张的博客
06-07 4206
一直没用过多模态大模型的接口。最近gpt4o很火，就学习了一下其接口的使用。
Monkey:Image resolution and text label are important things for large multi-model models
liguandong
12-12 327
解决方案包括：1.使用更大输入分辨率的预训练视觉模块，llava1.5，2.通过curriculum学习增加训练过程的分辨率，QWen-VL，PaLi-3，PaLi-X。Vit-BigHuge的视觉编码器+QWen-VL的llm。直接指令精调，H和W为448，以适配Qwen-VL的编码器，视觉重采样器可学习query为256，主要训练尺寸为896x896，Lora的注意力模块的秩为16，MLP为32，包括一个7.7B的llm，重参数模块是90M，编码器1.9B，lora为117M，整体参数为9.8B。
Chat_Gpt API调用上传图片示例
qq_54573153的博客
07-10 7651
跟据所述，我们可以通过API调用其多模态大模型，而目前国内支持多模态API调用的几乎没有。所以本文后续提供一个通过API调用GPT-4o模型，进行多模态（图片）交互的示例。
图像分割领域的GPT-4.0，分割一切的AI算法：Segment Anything
千与编程
04-19 1487
之前我们所提及的是点击交互式图像分割功能，而接下来要讲的是，设定方框区域内图像分割，与点击交互式图像分割方法相比，设定方框图区域图像分割方法采取手动绘制方框的形式来确定进行图像分割的区域，对所放置的矩形方框的内部区域进行图像分割，具体的分割效果，我们以下面这张飞机图片进行演示，可以看到在我们所绘制的矩形方框内部进行图像分割，而其他区域不属于我们绘制的这个矩形方框范围内，所以没有进行分割，使用者也可以手动设置矩形方框的大小，然后来决定对图像哪些部分进行分割。可以说是最为简便也是最为直接的图像分割。
MMDetection 系列之（自定义数据管道和引入Albumentations库处理增强管道）（四）
qq_41627642的博客
05-13 5724
数据管道设计 遵循典型约定，我们使用Dataset和DataLoader对多个worker进行数据加载。数据集返回与模型的forward方法的参数相对应的数据项字典。由于目标检测中的数据可能不相同大小(图像大小，gt box大小等)，我们在MMCV中引入了一个新的DataContainer类型，以帮助收集和分发不同大小的数据。查看这里了解更多细节。 对数据准备管道和数据集进行分解。数据集通常定义如何处理注释，数据管道定义准备数据字典的所有步骤。管道由一系列操作组成。每个操作都接受一个字典作为输入，并输出一个
GPT-4在图像识别、图像生成和图像分割方面的应用分析
Ww_000的博客
10-16 2213
GPT-4（Generative Pre-trained Transformer 4）是OpenAI开发的新一代预训练语言模型，自发布以来，因其强大的生成能力和理解能力而受到广泛关注。GPT-4不仅在自然语言处理领域取得了显著成就，还在图像识别、图像生成和图像分割等多个领域展现出巨大的应用潜力。GPT-4的图像识别能力主要得益于其内部的深度学习技术，特别是卷积神经网络（CNN）的应用。通过训练大量的图像数据，GPT-4能够自动识别和理解图像中的内容，包括物体、场景、文字等。
Multi-Modal RAG 多模态检索如何实现呢？
weixin_69415739的博客
06-25 1428
许多文档包含混合内容类型，包括图像和文本。然而，在大多数 RAG 应用程序中，图像中捕获的信息丢失了。随着多模态LLMs（如 GPT4-V、LLaVA 或 FUYU-8b）的出现，值得考虑如何在 RAG 流程中利用图像。在 RAG 中利用多模态模型的选项很少Option 3在这里我们将实现3。
GNN Algorithms(9): 多模态Multi-Modal、多任务Multi-Task
天狼啸月1990的博客
07-17 1771
多任务学习 (Multi-Task Learning, MTL)是一种将多个相关任务学习到一个模型中的方法，以提高模型的泛化能力和学习效率。在CV领域，多任务学习常用于图像分类、目标检测、语义分割等任务的联合学习。 多模态学习 (Multi-Modal Learning, MML)是一种将多种类型的数据(e.g. image, text, audio, v ideo等)作为输入的学习方法，以提高模型的表现力和泛化能力。
Monkey : Image Resolution and Text Label Are Important Things for Large Multi-modal Models
读书郎
08-27 1163
大型多模态模型 (LMM) 在视觉语言任务中显示出了希望，但在高分辨率输入和详细的场景理解方面遇到了困难。为了应对这些挑战，我们引入了Monkey来增强LMM能力。首先，Monkey 通过将输入图像划分为统一的补丁来处理输入图像，每个补丁都匹配训练良好的视觉编码器的原始训练中使用的大小（例如 448×448）。Monkey配备了每个补丁的单个适配器，可以处理高达1344×896像素的更高分辨率，从而详细捕获复杂的视觉信息。其次，它采用多级描述生成方法，丰富了场景-对象关联的上下文。
《Utilizing Ensemble Learning for Detecting Multi-Modal Fake News》
buyaotutou的博客
07-27 782
文章链接利用集成学习检测多模态假新闻The spread of fake news has become a critical problem in recent years due extensive use of social media platforms. False stories can go viral quickly, reaching millions of people before they can be mocked, i.e., a false story claiming tha
我的GPT-4 API 接入之旅
热门推荐
徐同保的专栏
03-30 1万+
我的GPT-4 API 接入之旅
完全图解GPT-2：看完这篇就够了（一）
03-28 4645
在过去的一年中，BERT、Transformer XL、XLNet 等大型自然语言处理模型轮番在各大自然语言处理任务排行榜上刷新最佳纪录，可谓你方唱罢我登场。其中，GPT-2 由于其稳定、优异的性能吸引了业界的关注 https://zhuanlan.zhihu.com/p/79714797 https://jalammar.github.io/illustrated-gpt2/ 选自http...
图像版GPT3问世，一句话就能变成图！打破语言与视觉界线，AI将更加聪明
YZSS17的博客
01-08 1256
图像版GPT3问世，一句话就能变成图！打破语言与视觉界线，AI将更加聪明 继 OpenAI 推出史上最强语言模型 GPT-3 后，这家旧金山 AI 研究公司又有新动作。 这次，他们一连推出两款强大的多模态模型 CLIP 和 DALL・E，CLIP 可以对图像进行理解、归类，而 DALL・E 则可以直接借助文本生成图像，简直就是 “图像版 GPT-3”。 OpenAI 在官博中介绍，DALL・E 是 GPT-3 的 120 亿参数版本，如此庞大的数据集，足以让它发挥 “想象力” 创造出那些不同寻常的图像。 你
dify TTS部署 GPT-SoVITS
qq_41027830的博客
11-13 130
1.GPT-SoVITS的api_v2.py作为后端代码，GPT-sovits-2-OpenAI作为openai兼容层，这里参考GPT-sovits-2-OpenAI的app.py进行了修改，用于匹配api_v2.py。以上两种，都需要部署一个config.yaml，详细参考GPT-sovits-2-OpenAI。模型名称随便填，api key随便填，API endpoint URL填。2.第二种其实就是把后端和兼容层合并，避免需要同时部署两个服务。理由:可直接连接本地部署的TTS服务。
GPT-5.1 发布：更智能也更“人性化“的 AI 助手
yanqianglifei的专栏
11-13 354
2025年11月12日，OpenAI 发布了 GPT-5 系列的重要更新版本 GPT-5.1，包括 GPT-5.1 Instant（即时版）和 GPT-5.1 Thinking（思维版）两个变体。这次更新不仅在技术能力上有所提升，更值得关注的是其在对话风格上的显著变化，而这一变化正在社区中引发激烈讨论。
ChatGPT无预告升级：GPT-5.1 来了，自适应推理、语气更自然、可语气设定
2502_93987700的博客
11-13 365
今天，OpenAI 悄悄放出了 GPT-5.1，直接把 ChatGPT 的体验拉到了新高度。简单说，这次更新有两个关键词：更聪明、更像人。今天，OpenAI 悄悄放出了 GPT-5.1，直接把 ChatGPT 的体验拉到了新高度。简单说，这次更新有两个关键词：更聪明、更像人。
开源模型登顶？Kimi K2 Thinking 实测解析：它真能超越 GPT-5 吗？
打造全国最全的AI Agent开发知识领域的博客
11-09 1127
Kimi K2 Thinking 以 1 万亿参数、INT4 量化推理和超长工具调用链，首次在多项基准测试中超越闭源模型。本文实测其编程、搜索、写作与智能体能力，拆解其技术原理，并探讨国产开源大模型是否真正迎来“登极”时刻。
OpenAI GPT-5.1正式发布：智商情商双突破，开启AI交互新时代
最新发布
SZHYN的博客
11-13 534
用户切换至“古怪”风格后，询问“如何追到心仪对象”，模型回复：“先学会用代码写情书，毕竟程序员浪漫起来连AI都脸红”，并附赠Python表白模板。：面对“用通俗语言解释区块链共识机制”的提问，模型以“全村记账本”的比喻完成解答，获用户高度评价。：OpenAI透露正在测试“记忆功能”，允许AI记住用户长期偏好，打造真正“懂你”的数字伙伴。：用户要求“用六个字总结量子计算”，模型精准回复“粒子纠缠算力”，展现严格指令遵循能力。：友好（倾听者）、高效（机器人）、书呆子气（技术极客）、愤世嫉俗（毒舌吐槽）。
MiniGPT-4：解锁 LLM 驱动的高级视觉语言能力
m0_65010824的博客
11-13 309
本文是对论文《MINIGPT-4: ENHANCING VISION-LANGUAGE UNDERSTANDING WITH ADVANCED LARGE LANGUAGE MODELS》的深度解读。在多模态模型领域，GPT-4 展现高级视觉 - 语言能力却未公开技术细节，成为研究痛点。本文团队提出 MiniGPT-4，以冻结视觉编码器（BLIP-2 组件）+ 冻结 LLM（Vicuna）+ 单投影层的极简架构，结合两阶段训练，复现 GPT-4 核心能力并新增图像创作等功能，为多模态研究提供开源基准。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值