AIGCer的博客

解决的问题现有的多模态大模型（MLLMs）在视觉内容生成方面没有充分解决不同图像生成任务对粒度的需求差异，尤其是从文本到图像生成的多样性需求以及图像编辑中的精确可控性。提出的方案提出了一种名为PUMA（emPowering Unified MLLM with Multi-grAnular visual generation）的模型，旨在通过统一多粒度视觉特征作为MLLMs的输入和输出，优雅地解决不同任务的粒度需求。应用的技术。

生成高质量图像和视频的扩散模型面临高维度学习的计算和优化挑战，尤其是在处理高分辨率图像时。

引入了LOKI基准，以全面评估LMMs在区分合成数据上的表现。全面模态评估。收集了近期热门合成模型生成的高质量多模态数据，涵盖视频，图像，3D数据，文本，音频等多个模态。异构数据覆盖。数据集中包括28个不同模态的细致分类，包括有专业的卫星，医学等图像，哲学，文言文等文本作品，环境音，音乐等音频。多层次标注。基准包括了生成/真实标签，可用于判断题，多选题等基础问题设置。还包含了细粒度异常注释，可用于原因解释等探究LMMs在可解释合成数据检测方面的题目。多模态合成数据评测框架。

PhyGenBench 的目的是评估 T2V 模型是否理解物理常识，而 PhyGenBench 中的每个提示都展示了一个明确的物理现象及其背后的物理定律。讨论了一些常用手段是否可以解决PhyGenBench中所提出的问题，具体来说，讨论了Prompt Engineer（使用GPT rewrite prompt），Scaling Law，以及提高video general quality是否可以解决PhyGenBench中的问题（具体来说，提高VBench上的表现和PhyGenBench的关系）。

在大规模基础模型中，幻觉输出的生成是一个关键挑战，特别是在高风险应用中。这种倾向可能影响模型的可靠性和准确性。

文章链接：https://arxiv.org/pdf/2409.18938将大语言模型（LLMs）与视觉编码器的集成最近在视觉理解任务中显示出良好的性能，利用它们理解和生成类人文本的固有能力进行视觉推理。考虑到视觉数据的多样性，多模态大语言模型（MM-LLMs）在图像、短视频和长视频理解的模型设计和训练上存在差异。本论文集中讨论长视频理解与静态图像和短视频理解之间的显著差异和独特挑战。与静态图像不同，短视频包含具有空间和事件内时间信息的连续帧，而长视频则由多个事件组成，涉及事件之间和长期的时间信息。

Qwen2-VL系列旨在重新定义传统的固定分辨率视觉处理方法，解决了在处理不同分辨率图像时的效率和准确性问题。

下图2展示了本文方法的概述。本文的方法依赖于三个组件的结合。如前所述，需要确保输入到模型中特定操作（如加法和乘法）的维度匹配。为此，引入了一种分层依赖解析算法，旨在检测这些依赖关系。该算法生成了一组耦合组，其中包括需要同时剪枝的参数以保持一致的通道维度。基于这些耦合组，可以开始对给定模型进行剪枝。不是随机选择一个组并剪枝其中的神经元，而是使用基于Hessian的重要性评分对神经元进行排序，根据其重要性在每次迭代中移除最不重要的神经元。