Vivo推出中国首家安卓手机Agent竞技平台A3

本文链接：https://blog.csdn.net/m0_59614665/article/details/144971066

A3: Android Agent Arena for Mobile GUI Agents

在这里插入图片描述

近年来，由于大语言模型（LLMs）取得的重大进展，AI Agent的应用愈发广泛。移动GUI Agent是AI Agent的一个分支，专门设计用于在移动设备上自主执行任务。虽然已有多项研究介绍了各种Agent、数据集和基准测试，以推进移动GUI Agent的研究，但很多现有数据集主要关注静态画面评估，无法提供一个全面的平台来衡量Agent在真实、动态环境中的表现。

为了弥补这一不足，我们推出了“安卓Agent竞技场”（Android Agent Arena, A3），这是一个新的评估平台。与现有系统相比，A3具有以下特点：

实用性强的任务：包括实时在线信息检索和操作指令等贴近实际需求的任务；
更广阔灵活的动作空间：支持更多种类的操作，能与基于不同数据集训练的Agent兼容；
自动化的业务级评估流程：利用大型语言模型进行评估，减少对人力和编程技能的依赖。

A3包含了21款常用的第三方应用和201个反映典型用户场景的任务，为评估移动GUI Agent在真实使用场景中的表现提供了坚实的依据，并引入了一套新的自动化评估机制。项目详情请访问：https://yuxiangchai.github.io/Android-Agent-Arena/。

论文: https://arxiv.org/pdf/2501.01149

2. LTX-Video: Realtime Video Latent Diffusion

在这里插入图片描述

我们推出了LTX-Video，一种基于Transformer架构的潜在扩散模型，它通过无缝融合Video-VAE和去噪Transformer的功能，采用了整体性的视频生成方法。不同于传统的分离处理方式，LTX-Video旨在优化两者间的协作，从而提升生成视频的效率和质量。

LTX-Video的关键在于其精心设计的Video-VAE，该编码器达到了1:192的高压缩率，即每个token对应32 x 32 x 8像素的时空下采样，这是通过将补丁化（patchifying）操作从前置的Transformer移到VAE输入端来实现的。在如此高压缩的潜在空间中工作，使Transformer得以高效执行全时空自注意力机制，这对于生成时间连贯的高分辨率视频至关重要。然而，高压缩也限制了细节点的表示。为解决此问题，VAE解码器不仅负责从潜在空间到像素空间的转换，还完成了最后的去噪步骤，直接输出清晰的像素级结果。这种方式保持了细节生成的能力，而不需要增加额外的上采样模块所带来的运行成本。

LTX-Video支持多种应用案例，如文本到视频和图像到视频的生成，这些功能在同一训练过程中得到同步提升。该模型可以在Nvidia H100 GPU上实现超过实时速度的生成：仅需2秒就能生成一段5秒长、分辨率为768x512、帧率为24 fps的高质量视频，性能优于所有同类规模的现有模型。此外，我们已公开发布源代码和预训练模型，为视频生成领域树立了新的标杆。

论文: https://arxiv.org/pdf/2501.00103

3.Unifying Specialized Visual Encoders for Video Language Models

在这里插入图片描述

随着大语言模型（LLMs）的最新进展，视频大语言模型（VideoLLMs）为视频领域带来了先进的推理能力。然而，目前的VideoLLMs仅依靠单一视觉编码器进行所有的视觉处理，这限制了能够传递给LLM的视觉信息量和种类。为了解决这个问题，我们提出了多编码器视频表示（MERV）方法，该方法利用多个冻结的视觉编码器来创建一个视频的统一表示，从而为VideoLLM提供全面而专业的视觉知识。通过将来自每个编码器的特征进行时空对齐，MERV能够解决更广泛类型的开放式和选择题形式的视频理解问题，并显著优于以前的最佳方法。

实验结果表明，在标准视频理解基准测试中，MERV的准确率比Video-LLaVA高出了最多3.7%，并且在Video-ChatGPT评分上也有更好的表现。此外，MERV在零样本感知测试的准确性上超过了之前的最佳模型SeViLA 2.2%。值得注意的是，MERV仅引入了极少量的额外参数，训练速度比单编码器方法更快，并实现了视觉处理的并行化。

论文: https://arxiv.org/pdf/2501.01426

4. MLLM-as-a-Judge for Image Safety without Human Labeling

在这里插入图片描述

随着在线平台上视觉媒体的增长，图像内容安全已成为一个重要挑战。尤其在AI生成内容（AIGC）时代，许多图像生成模型能产生包含性或暴力内容等有害图像。因此，依据既定的安全规范识别这些不安全图像变得尤为重要。预训练的多模态大模型（MLLMs）在这方面展示了巨大潜力，得益于其卓越的模式识别能力。

目前的方法通常是用人类标注的数据集对MLLMs进行微调，但这种方法存在诸多不足。一方面，依赖人工标注员按照复杂的指导方针标注数据成本高昂且耗费人力；另一方面，由于安全系统用户可能经常需要更新安全规范，这使得基于人工标注的微调更为棘手。这促使我们思考：是否可以在零样本设定下，仅通过查询MLLMs并应用预设的安全规范来检测不安全图像？

我们的研究发现，简单地查询预训练MLLMs并不足以实现有效的检测。其原因在于安全规范的主观性、章程文本的复杂性及模型固有的偏差。为解决这些问题，我们提出了一套基于MLLM的方法，该方法包含以下步骤：

将安全规范具体化：将抽象的安全规则转化为明确的标准；
衡量规则与图像的相关度：评估哪些规则适用于具体的图像；
快速决策：基于去除偏差后的令牌概率，结合简化但逻辑完整的前提链条，迅速做出判断；
深度推理：如果需要，通过串联的链式思考过程进一步分析。

实验结果显示，我们的方法在零样本图像安全性判断任务上表现优异。

论文: https://arxiv.org/pdf/2501.00192