INTSIG的博客

基本的算法，如排序或哈希，在任何一天都被使用数万亿次。随着对计算需求的增长，这些算法的性能变得至关重要。尽管在过去的2年中已经取得了显著的进展，但进一步改进这些现有的算法路线的有效性对人类科学家和计算方法都是一个挑战。

论文将讨论这些方法如何帮助科学家完成整个科学过程，以及尽管取得了这些进展，但仍然存在的核心问题。人工智能工具的开发人员和用户都需要更好地了解这些方法何时需要改进，而数据质量和管理不善所带来的挑战仍然存在。这些问题跨越了科学学科，需要开发基本的算法方法，有助于科学理解或自主获取它，使其成为人工智能创新的关键重点领域。

一、简要介绍多模态学习结合了多种数据模式，拓宽了模型可以利用的数据的类型和复杂性：例如，从纯文本到图像映射对。大多数多模态学习算法专注于建模来自两种模式的简单的一对一数据对，如图像-标题对，或音频文本对。然而，在大多数现实世界中，不同模式的实体以更复杂和多方面的方式相互作用，超越了一对一的映射。论文建议将这些复杂的关系表示为图，允许论文捕获任意数量模式的数据，并使用模式之间的复杂关系，这些关系可以在不同样本之间灵活变化。为了实现这一目标，论文提出了多模态图学习（MMGL），这是一个通用而又系统的、系

此外，前文指出，少量的例子可能足以训练一个强大的RM（例如，在O（1k）的顺序上），进一步降低了使用一个更大的标记器模型的成本。虽然最近的许多工作使用近端策略优化（PPO）—一种类似的方法，增加了一些技术，使训练更加保守和稳定（例如，裁剪目标函数），论文使用A2C，因为它更简单，但仍然有效的解决论文的问题。对于一个单一的例子，它是通过将一个软ai标记的偏好转换为一个二进制表示（例如，preferencei= [0.6,0.4]→[1,0]）来计算的，如果标签与目标人类偏好一致，则分配一个1，否则为0。

基于transformer的大语言模型（LLM）中的软注意很容易将上下文中的不相关信息合并到其潜在的表征中，这将对下一token的生成产生不利影响。为了帮助纠正这些问题，论文引入了System 2 Attention（S2A），它利用LLM的能力，用自然语言进行推理，并遵循指示，以决定要处理什么。S2A重新生成输入上下文以使输入上下文只包含相关部分，然后再处理重新生成的上下文以引出最终响应，增加了事实性和客观性，减少了虚假性。

论文系统地回顾了在代码处理方面的最新进展，包括50个+模型，30个+评估任务和500个相关工作。论文将代码处理模型分解为由GPT家族表示的通用语言模型和专门预训练的代码模型，通常具有定制的目标。论文讨论了这些模型之间的关系和差异，并强调了代码建模从统计模型和rnn到预训练的transformer和LLM的历史转变，这与NLP所采取的过程完全相同。还讨论了特定于代码的特性，如AST、CFG和单元测试，以及它们在训练代码语言模型中的应用，并确定了该领域的关键挑战和潜在的未来方向。

本文对MaaS在各个行业的意义及其意义进行了全面的概述。论文简要回顾了基于云计算的“x即服务”的开发历史，并介绍了MaaS中所涉及的关键技术。GenAI模型的发展将变得更加民主化和繁荣。论文还回顾了MaaS的应用研究。最后，作者强调了这一前景领域的几个挑战和未来问题。MaaS是针对不同的基于人工智能的模型的一种新的部署和服务范式。论文希望本综述能对MaaS领域的研究提供启示。

本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，论文提出了MLLM的公式，并描述了它的相关概念。然后，论文讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和LLM辅助视觉推理（LAVR）。最后，论文讨论了现有的挑战，并指出了很有前景的研究方向。鉴于MLLM的时代才刚刚开始，作者将继续更新这项调查，并希望它能激发更多的研究。

目前还不清楚ICL是否以这种方式运行，因为预测是通过T（[S，x]）执行的，其中T通常是一个自回归transformer，而[S，x]是S和x中的令牌的连接。受学习理论的假设类观点的启发，论文的目标是了解ICL是否将演示集S映射到查询x上的一个函数，以及这个映射是如何发生的。论文的实证研究结果表明，这一观点是适用的，阐明了假设空间的结构，其中ICL可以被看作是运作的。在这里，论文提供了支持这种解释的证据。可以看出，同一任务中的向量比不同任务之间的向量更接近，说明θ在任务中是稳定的，不受x'或S的高度影响。

本综述论文回顾了60多篇研究论文，专注于开发小目标检测任务的transformer，包括纯基于transformer和集成cnn的混合技术。这些技术已经从七个不同的角度进行了研究：目标表示、用于高分辨率或多尺度特征图的快速注意机制、架构和块的修改、时空信息、改进的特征表示、辅助技术和完全基于transformer的检测。这些类别都包括几种最先进的（SOTA）技术，每一种都有自己的优点。

不和谐区域定位的目的是在与周围背景不兼容的合成图像中定位该区域。不和谐问题主要是由于图像编辑技术产生的颜色和照明不一致。在本研究中，作者倾向于将输入的图像转换到另一个颜色空间，以放大不和谐区域与背景之间的域差异，从而使模型更容易地识别不和谐区域。为此，作者提出了一种由一个颜色映射模块和一个不和谐的区域定位网络组成的新框架，其中前者配备了一种新的域差异放大损失，后者可以是一个任意的定位网络。在图像协调数据集上的大量实验表明了作者设计的框架的优越性。

论文提出了一个统一的弱监督学习框架TCPN用于视觉信息提取，它引入了一种有效的编码器、一种新的训练策略和一种可切换的解码器。该方法在EPHOIE数据集上显示出了显著的提高和在SROIE数据集上的竞争性能，充分验证了其有效性。视觉信息提取任务处于自然语言处理和计算机视觉的跨领域，作者的方法旨在缓解对完整注释的过度依赖和OCR错误造成的负面影响。

在本工作中，作者讨论了一个数据挖掘系统中的数据提取阶段。为了建立一个可靠的Box detector，作者比较了不同的目标检测方法，并找到了一个合适的方法来解决表征图表数据的特殊问题。具有多元回归头和FPN结构的模型取得了令人印象深刻的性能。为了建立鲁棒的point detector，与基于图像处理的方法和基于检测的方法相比，该基于分割的方法可以避免困难的启发式假设，并很好地区分近点。对于数据转换，作者提出了一种测量特征相似性的网络，它比基于图像的特征更稳健。在实验中，作者在数据提取的每个阶段都进行了实验。作

该论文针对文本擦除中存在的复杂背景修复的问题，提出了CTRNet，它利用局部和全局的语义建模提升模型的背景还原能力，它设计了Low-level Contextual Guidance（LCG）和High-level Contextual Guidance（HCG）去挖掘不同的语义表征，然后通过Local-Global Content Modeling（LGCM）进行局部与全局的特征建模，从而提升文本擦除的能力。

本文简要介绍ACM MM 2022录用论文“Marior: Margin Removal and Iterative Content Rectification for Document Dewarping in the Wild”的主要工作。该论文针对现有的矫正方法只能在紧密裁剪的文档图像上获得较为理想的矫正效果这一不足，提出了一个新的矫正方法Marior。Marior采用渐进式的矫正方式来逐步提高矫正性能。具体而言：先利用分割结果进行环境边缘去除获得初步矫正结果，再通过预测偏移场迭代式地优化该初步结果。