2024年9月 MLLM做图片生成

已于 2024-09-29 15:35:09 修改
阅读量210 收藏 3
点赞数 10
分类专栏： AI与ML 文章标签： 人工智能 深度学习
于 2024-09-29 15:33:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duoyasong5907/article/details/142636624
版权

背景

最近发现了一篇论文Unified Text-to-Image Generation and Retrieval，其引用的工作揭示了一个新方向，用MLLM做图片生成。
目前主流的图片生成是用扩散模型diffusion model，本文介绍另一种路径：基于多模态大模型MLLM做图片生成。

相关工作

duoyasong5907
关注
专栏目录
2024年6月计算机视觉论文推荐：扩散模型、视觉语言模型、视频生成等
deephub
06-23 5550
6月还有一周就要结束了，我们今天来总结2024年6月上半月发表的最重要的论文，重点介绍了计算机视觉领域的最新研究和进展。
ECCV2024｜AIGC(图像生成，视频生成，3D生成等)相关论文汇总（附论文链接/开源代码）【持续更新】
Kobaayyy的博客
07-04 2118
整理汇总下2024年ECCV AIGC相关的论文和代码，具体如下
2024年5月大语言模型论文推荐：模型优化、缩放到推理、基准测试和增强性能
deephub
05-26 4394
前一篇文章总结了关于计算机视觉方面的论文，这篇文章将要总结了2024年5月发表的一些最重要的大语言模型的论文。这些论文涵盖了塑造下一代语言模型的各种主题，从模型优化和缩放到推理、基准测试和增强性能。大型语言模型(llm)发展迅速，跟上这些领域新颖的研究将有助于引导模型的持续进步，这些模型更有能力，更健壮，更符合人类价值观。
2024年7月9日Arxiv人工智能相关论文
数智笔记
07-09 1106
原标题作者机构: 南加州大学 工程学院 信息科学研究所摘要: 对于战略洞察或研究组合管理，粗略分类短科学文本（如资助或出版物摘要）是可取的。这些文本高效传递密集信息给具有丰富知识体系的专家，以帮助解释。然而，由于简洁性和缺乏上下文，自动化此任务非常困难。为填补这一空白，我们开发了一种新方法来生成并适当分配粗领域特定标签。我们展示了大语言模型（LLM）可以提供对任务至关重要的元数据，这一过程类似于增加代表人类直觉的补充知识，并提出了一个工作流程。
2024年6月19日Arxiv人工智能相关论文
数智笔记
06-20 1149
人工智能在不同领域变得越来越普遍。然而，由于复杂的基于人工智能的系统通常是黑盒的，决策逻辑不透明，用户发现很难遵守它们的建议。尽管研究人员正在研究可解释人工智能（XAI）以增加底层机器学习模型的透明度，但目前尚不清楚哪种类型的解释是有效的，以及其他哪些因素会增加遵从性。为了更好地理解这些因素的相互作用，我们进行了一项实验，共有562名参与者，他们被呈现了一个人工智能的建议和两种不同类型的XAI。我们发现，引入XAI后用户的遵从性增加，但也受到人工智能素养的影响。
2024年6月18日Arxiv人工智能相关论文
数智笔记
06-18 1039
常见的解决软件工程中复杂问题的方法是将问题分解为多个子问题。受此启发，我们提出了一种用于软件工程 AI（MASAI）智能体的模块化架构，其中不同的由LLM驱动的子智能体具有明确定义的目标和策略，旨在实现这些目标。我们的模块化架构提供了几个优势：（1）在子智能体之间使用和调整不同的问题解决策略，（2）使子智能体能够从存储库中分散的不同来源收集信息，（3）避免不必要的长轨迹，从而增加成本并添加无关的上下文。
2024年5月31日Arxiv人工智能相关论文
数智笔记
05-31 1188
我们推出了 Keras 领域包 KerasCV 和 KerasNLP，这是 Keras API 的扩展，用于计算机视觉和自然语言处理工作流，能够在 JAX、TensorFlow 或 PyTorch 上运行。这些领域包旨在实现快速实验，侧重于易用性和性能。
每月AI科研动向（2024年2月）
陌北有棵树的博客
03-09 1094
我是陌小北，每月不定时更新前一个月AI领域科研新进展，拿走不谢，欢迎提建议。 目前的分类包括：LLM研究、Agent、多模态、特定领域应用、世界模型。内容较多所以每个相对简略。
2024年6月25日Arxiv语言模型相关论文
数智笔记
06-25 1765
我们通过引入FactRel来探讨事实性与自然语言推理（NLI）之间的关系——这是一种新颖的注释方案，模拟了“事实性”而非“文本性”的蕴涵，并用它来注释一组自然语境下的新闻文章句子数据集。我们的分析显示，84%的事实支持对和63%的事实削弱对并不等同于NLI的蕴涵或矛盾，这表明事实关系更适合分析媒体话语。我们尝试了针对新数据集的成对分类模型，并发现在某些情况下，基于注释数据用GPT-4生成合成数据可以提高性能。
LLM - 理解 多模态大语言模型(MLLM) 的 评估(Evaluation) 与相关技术 (六)
Mystra
09-19 1229
评估(Evaluation) 是研发 多模态大语言模型(MLLM)的重要部分，为模型优化提供反馈，有助于比较不同模型的性能。与传统多模态模型的评估方法相比，MLLM 评估表现的特点包括，由于 MLLM 通常具有通用性，因此全面评估 MLLM 非常重要。MLLM 展现出许多 涌现(Emergent) 能力，需要特别关注，例如，无需 OCR 的数学推理，因此需要新的评估方案。根据问题类型，MLLM 的评估可以分为两个大类，即 封闭集(closed-set) 和 开放集(open-set)。
LLM - 理解 多模态大语言模型(MLLM) 的 发展(Timeline) 与相关技术 (一)
Mystra
09-09 1080
多模态大语言模型 (Multimodal Large Language Models, MLLM)，例如 GPT-4V，使用 大语言模型 (LLM) 作为内核，执行多模态任务。常见多模态任务，包括看图讲故事、不需要 OCR 的数学推理等，同时，需要注意多模态 幻觉 (Hallucination) 的问题，以及扩展的多模态技术，如 多模态的上下文学习 (In-Context Learning)，多模态的思维链 (Chain of Thought) 等。
LLM - 理解 多模态大语言模型(MLLM) 的 架构(Architecture) 与相关技术 (二)
Mystra
09-09 1040
多模态大语言模型 (Multimodal Large Language Models, MLLM) 框架包括 3 个部分：预训练的模态编码器、预训练的 大语言模型(LLM)、连接模态的 接口(Interface)，也可以添加可选的 生成器(Generator) 到 LLM，用于生成除了文本之外的其他模态。
多模态大模型LLM、MLLM性能评估方法
lanlin的博客
03-22 509
虽然 LMM 在许多场景中以开放式方式和自由格式文本表现出了出色的视觉识别和推理能力，但 LMM 的评估正成为一个紧迫且具有挑战性的问题。已经开发了几个相关的基准来评估 LMM 的各个方面，包括 OCR、hallucination (POPE) 和 HaELM 等特定能力）和 adversarial robustness），到综合评估，如 LAMM、LVLM-eHub。我们在下表中总结了 LMM 评估基准。其中，LLaVA-Bench是首次尝试专门针对LMM设计开放世界视觉聊天基准。
LLM - 理解 多模态大语言模型(MLLM) 的 预训练(Pre-training) 与相关技术 (三)
Mystra
09-12 956
完备(Full-Fledged) 的 多模态大语言模型(MLLM) 经历 3 个阶段的训练，即 预训练(Pre-training)、指令微调(Instruction-Tuning) 和 对齐调优(Alignment Tuning)。每个训练阶段都需要不同类型的数据，并且实现不同的目标。本篇介绍，预训练(Pre-training) 部分。
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
m0_52911108的博客
09-27 1254
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
Linux嵌入式有发展吗，以及对uboot，kernel，rootfs的领悟
最新发布
rjszcb的博客
09-30 529
上一份工作是2022,11—2023，11年底，汽车公司，底层修修改改，编译镜像，修改后，客户给东西，重新编译给他，客制化配置启动参数，环境，支持应用部门，不懂怎么使用某些驱动。uboot到底是干嘛的，想想，emmc的镜像文件是怎么被读到ddr的，emmc为啥可以被分区，烧录镜像，tftp网络命令为啥可以运行，启动设备时，为啥lcd可以看到图像，kernel还没启动，怎么出图像的。不管做应用开发，驱动开发也好，知道，系统原理，驱动框架，进程管理调度，内核竞争，信号，中断，锁，这些就够了。
Python精选200Tips：171-175
AnFany
09-26 1330
Python深度学习的项目
Python/大数据/机器识别毕业设计选题题目推荐
初尘屿风的博客
09-27 999
基于Python和Diango在线购物商城系统+报告文档+指导搭建视频基于深度学习的人脸识别与管理系统，Python实现基于Python/机器学习链家网新房数据可视化及预测系统Python豆瓣电影情感分析推荐系统+爬虫+可视化，过滤算法基于python的django框架生鲜商城管理系统设计与实现基于Python的Flask微博话题舆情分析可视化系统设计基于Python豆瓣电影数据可视化分析系统+毕业论文+指导搭建视频基于Python天气预报数据可视化分析系统+毕业论文基于Python的深度学习音乐推荐系统+
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值