论文阅读：SYNAPSE: TRAJECTORY-AS-EXEMPLAR PROMPTING WITH MEMORY FOR COMPUTER CONTROL

最新推荐文章于 2024-11-16 20:32:25 发布
最新推荐文章于 2024-11-16 20:32:25 发布
阅读量438 收藏 8
点赞数 4
文章标签： 论文阅读 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DLparkour/article/details/138526289
版权

SYNAPSE: TRAJECTORY-AS-EXEMPLAR PROMPTING WITH MEMORY FOR COMPUTER CONTROL（轨迹作为示例+记忆的计算机控制）

  • 总结：

    • 构建了一个名为synapse的计算机控制智能体,其能力：

      • 状态抽象：从原始状态中过滤掉与任务无关的信息，允许在有限的上下文中提供更多示例
      • 轨迹作为示例提示：用具有抽象状态和动作的完整轨迹提示LLM，以改善多步骤决策
      • 示例记忆，：它存储示例的嵌入，并通过相似性搜索检索它们，以便泛化到新任务

    • 解决了当前计算机控制智能体的三个挑战：

      1. 上下文长度有限：例如网页内容token量很大（采用状态抽象解决）

      2. 为探索的示例结构：现有计算机控制智能体难以应对长期任务（采用任务轨迹+示例轨迹记忆指导LLM生成解决）

      3. 特定任务的示例：现有计算机控制智能体泛化性差，仅关注单一任务（相似示例记忆指导LLM生成解决）

        传统问题SYNAPSE解决方式
        1上下文长度有限状态抽象清洗计算机原始信息
        2难以应对长期任务采用任务轨迹+示例轨迹记忆指导LLM生成新的轨迹
        3计算机控制智能体泛化性差相似示例记忆指导LLM生成新的轨迹

    • 轨迹：一系列抽象的状态+动作

  • 框架组成：

    在这里插入图片描述

    • state abstraction（状态抽象）：通过LLM对原始计算机状态信息中任务无关项进行清洗，图中所示清洗任务（订票）无关的html源码。减少了每个状态所需的Token数量

      在这里插入图片描述

    • 示例轨迹提示LLM：LLM被提示当前任务历史轨迹+示例轨迹（来自示例轨迹检索）

      在这里插入图片描述

    • 示例轨迹检索：具有示例轨迹记忆机制，采用相似性检索，为LLM提供相似的示例轨迹

      在这里插入图片描述

  • 计算机控制智能体方法流程对比

    在这里插入图片描述

    • RCI: 操作在一开始定制完成，可能错误地预测下一个操作，难以解决长期任务
    • MindAct: MCQ格式的示例提示LLM，
    • Trajectory-as-Exemplar: 提供了一致的交互式格式，信息量更大
磨难尽收获
关注
SYNAPSE: TRAJECTORY-AS-EXEMPLAR PROMPTING WITH MEMORY FOR COMPUTER CONTROL
weixin_44546100的博客
12-15 1031
使用LLM Agent 解决计算机控制的问题，即航班预定、邮件管理等
ICLR‘24 大语言模型智能体最新研究进展丨智能体能力篇
AI_Conf的博客
10-30 1008
在大语言模型驱动下的自主智能体方面，作者所在团队发布了该领域的早期综述（见A Survey on LLM-based Autonomous Agents），并构建了用户行为分析领域中首个基于自主智能体的模拟环境RecAgent（见RUC-GSAI/YuLan-Rec），欢迎大家关注。本文研究了对复杂运筹学问题的建模和编程，首次提出了基于LLM的解决方案，它是一个多智能体协作增强推理的框架，即Chain-of-Expers(CoE)，以减轻对领域专家的严重依赖。
【论文阅读】UNet-2022: Exploring Dynamics in Non-isomorphic Architecture
CV小星的博客
10-28 2374
最近的医学图像分割模型大多是混合的，将自注意力和卷积层集成到非同构架构中。然而，这些方法的一个潜在缺点是它们未能直观地解释为什么这种混合组合方式是有益的，这使得后续工作难以在它们之上进行改进。为了解决这个问题，我们首先分析了自注意力和卷积的权重分配机制之间的差异。
《VM-UNet: Vision Mamba UNet for Medical Image Segmentation》论文阅读及代码复现
m0_58520624的博客
03-05 3705
Patch Embedding layer将输入图像划分为4*4的不重叠补丁，随后将图像的维度映射到C（默认96），该过程得到嵌入图像H4×W/4×C，然后编码器的4个stage进行特征提取，前3个stage结束时应用补丁合并操作以减少输入特征的高度和宽度，同时增加通信数量。在本文中，我们首次引入了一种纯的基于SSM的医学图像分割模型，将VM-UNet作为基线。3） 在医学图像分割任务中为纯基于SSM的模型建立了基线，提供了有价值的见解，为开发更高效、更有效的基于SSM分割方法铺平了道路。
【论文阅读笔记】MOSformer: MOmentum Encoder-based Inter-Slice Fusion Transformer for Medical Image Segmentat
寸先生的AI道路
01-24 1274
提出了一种新型的用于医学图像分割的深度学习模型MOSformer。它主要通过双编码器设计和动量更新方法来提高2.5D医学图像分割模型的性能，其中一个编码器使用动量更新保持切片表示的一致性。此外，它还引入了一种名为IF-Swin的变换器模块，通过在切片维度扩展窗口自注意力机制，实现多尺度特征图之间的有效融合。
Transformer论文阅读（二）：Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
qq_38296005的博客
08-20 2314
Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation 【用于医学图像分割的Unet形的纯Transformer】Abstract1 Introduction2 Realted work2.1 CNN-based methods2.2 Vision transformers2.3 Self-attention/Transformer to complement CNNS3 Method3.1 Architecture over
[深度学习论文笔记]Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
热门推荐
Slientsake的博客
05-26 4万+
Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation Swin-Unet：用于医学图像分割的类Unet纯transformer 论文：https://arxiv.org/abs/2105.05537 代码：https://github.com/HuCaoFighting/Swin-Unet
推荐开源项目：Synapse - 工作流管理系统
gitblog_00098的博客
05-31 315
推荐开源项目：Synapse - 工作流管理系统 synapseServerless Workflow Management System (WFMS)项目地址:https://gitcode.com/gh_mirrors/synapse1/synapse Synapse 是一个强大的、社区驱动的、跨平台的工作流管理系统（WFMS），它遵循Serverless Workflow 规范。该项目由...
SCP-682-Synapse:SCP-682-突触
03-12
SCP-682-突触 描述： 939-89产生时有可配置的几率（默认100％）是SCP-682，他以增加的939-89产生并带有可配置的马力。... 将您可以下载的SCP-682-Synapse.dll文件放置在插件目录中 重新启动/启动服务器。
synapse-admin:https
04-28
在synapse-admin登录页面上输入URL后，服务器版本将显示在输入字段下方。 您需要访问以下端点： /_matrix /_synapse/admin 另请参见 分步安装： 您有两种选择： 从github下载源代码并使用nodejs运行 运行...
微软文档：SQL Server 技术文档-28950页
04-28
在Azure平台上，SQL Server有多种实现方式，包括Azure SQL数据库（一种云托管的关系型数据库服务），Azure SQL托管实例（提供了与本地SQL Server相似的环境），以及Azure Synapse Analytics（大规模数据分析平台）。...
razer-laptop-control：创建驱动程序软件以控制razer笔记本电脑性能的项目
02-05
**razer-laptop-control** 是一个专为Razer笔记本电脑设计的开源项目，目标是创建一个驱动程序软件，以便用户可以更细致地控制他们的设备性能。这个项目利用了编程语言 **Rust** 的强大功能，同时也结合了 **GTK** ...
MoroGoku:诸神之歌-开源
06-29
3. **synapse**：这可能是项目中的一个特定模块，可能涉及到神经网络库或智能算法。在开源项目中，这样的命名可能意味着开发者正在探索人工智能领域的应用，如语音识别、自然语言处理等。 4. **magisk**：Magisk是...
【论文阅读】HITS: High-coverage LLM-based Unit Test Generation via Method Slicing
网络空间安全|人工智能|计算机科学
11-14 821
本文提出了一种基于LLM的单元测试生成方法，通过将复杂方法分解为多个切片，并让LLM逐片生成测试用例。静态分析：收集被测方法的依赖信息，以便LLM理解其使用和结构。链式思维技术：指导LLM按照解决问题的步骤分解被测方法。生成测试用例：针对每个切片生成一个单元测试类，覆盖所有行和分支。修复不可执行测试：对不可执行的测试进行修复。通过静态分析获取被测方法的上下文信息，包括依赖类、字段和方法声明。这些信息作为LLM的提示前缀。
论文笔记（五十六）VIPose: Real-time Visual-Inertial 6D Object Pose Tracking
xzs1210652636的博客
11-14 923
估计物体的6D姿态对于运输、自动导航、操纵等机器人任务非常有益，同时在虚拟现实和增强现实等超越传统机器人的场景中也同样重要。相对于单张图片的姿态估计，姿态跟踪考虑了跨多个帧的时间信息，以克服可能的检测不一致并提高姿态估计的效率。在这项工作中，我们介绍了一种名为VIPose的新型深度神经网络（DNN），该网络结合惯性和摄像机数据来实时解决物体姿态跟踪问题。主要贡献是设计了一种新型的DNN架构，该架构融合视觉和惯性特征来预测连续图像帧之间物体的相对6D姿态。然后通过连续组合相对姿态来估计总体的6D姿态。
论文阅读 - Causally Regularized Learning with Agnostic Data Selection
qq_40671063的博客
11-15 825
之前的大部分机器学习算法都是基于 i.i.d 提出的。假设。然而，这种理想的假设在实际应用中经常被违反，其中训练和测试过程之间可能会出现选择偏差。此外，在许多场景中，测试数据在训练过程中甚至不可用，这使得迁移学习等传统方法由于需要测试分布的先验而变得不可行。因此，如何解决鲁棒模型学习的不可知选择偏差对于学术研究和实际应用都至关重要。本文在假设变量间的因果关系在不同领域间具有稳健性的前提下，将因果技术融入预测建模中。
论文笔记 SuDORMRF：EFFICIENT NETWORKS FOR UNIVERSAL AUDIO SOURCE SEPARATION
qq_43349296的博客
11-13 605
相比于常规卷积，可以减少参数和计算量。1×1我们以input feature map shape为12123∈RH×W×C，卷积核shape为553∈Rkh​×kw​×C, stride = 1, padding = 0，卷积核数量为256（输出通道数为256），output feature map shape为[8,8,256]的情况为例。
【图像压缩感知】论文阅读：Content-Aware Scalable Deep Compressed Sensing
最新发布
qq_51975055的博客
11-16 626
本文为个人阅读论文的笔记，仅作为学习记录所用。本文参考另一篇TIP 2022。
论文阅读《BEVFormer v2》
YMWM_的博客
11-12 670
我们提出了一种具有透视监督的新型鸟瞰图（BEV）检测器，其收敛速度更快并且更适合现代图像主干。现有的最先进的BEV检测器通常与某些深度预训练主干网络（如VoVNet）相关联，从而阻碍了蓬勃发展的图像主干网络和BEV检测器之间的协同作用。为了解决这一限制，我们优先通过引入透视图监督来简化BEV检测器的优化。为此，我们提出了一个两阶段BEV检测器，其中来自透视头的提议被输入到鸟瞰头中进行最终预测。为了评估我们模型的有效性，我们进行了广泛的消融研究，重点关注监督形式和所提出的检测器的通用性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值