KeSprite-CSDN博客

原创 LLM.04 TimeBench:LLM时间推理能力的综合评估

TIMEBENCH是一项全面评估大型语言模型（LLMs）时间推理能力的基准测试研究。该研究指出，尽管人类认知中对时间的理解至关重要，且时间是理解世界复杂性的基石，但现有研究大多聚焦于时间的特定方面，缺乏一个综合性的评估框架。因此，TIMEBENCH应运而生，它是一个分层次的时间推理基准，广泛覆盖了时间推理现象，旨在深入探究LLMs在处理时间相关推理任务上的表现。

2024-06-29 11:26:02 935

原创 LLM.03 Apollo Oracle Retrieval Augmented Reasoning:多智能体辩论与检索增强

本文介绍了一种名为“多智能体辩论与检索增强”（Multi-Agent Debate with Retrieval Augmented，简称MADRA）的新型框架，旨在通过引入外部检索的先验知识来有效缓解多智能体辩论系统中的认知限制问题，从而提升智能体的推理能力。MADRA框架的关键创新在于将检索机制融入辩论过程，使智能体能够获取并利用相关领域的既有知识，进而避免因认知局限导致的错误观点固执和正确观点放弃的问题。

2024-06-28 00:11:10 767

原创 LLM.02 Mixed Distillation Helps Smaller Language Model Better Reasoning

混合蒸馏框架：MD框架创新性地融合了CoT和PoT两种提示技术。CoT鼓励LLMs生成中间推理步骤的自然语言描述，而PoT则促使LLMs生成可执行的Python代码作为中间步骤，从而增强模型的逻辑推理能力。这些能力随后被蒸馏到小型模型中，使得小模型能够进行更复杂的多路径推理。实验验证：研究通过一系列实验展示了MD的有效性，不仅提升了基于LLaMA2-7B和CodeLlama-7B等小型模型在SVAMP基准测试上的准确率，分别达到了84.5%和85.5%，还超过了GPT-3.5-Turbo的表现。

2024-06-27 21:41:35 981

原创 LLM.01 Contextual Position Encoding

本论文提出了一种新的位置编码方法——上下文位置编码（Contextual Position Encoding, CoPE），以解决传统位置编码在处理复杂序列任务中的局限性。标准的绝对和相对位置编码仅依赖于令牌的固定位置，而CoPE通过引入上下文信息，动态调整每个令牌的位置编码。该方法包括计算序列的上下文向量，并利用此向量调整标准位置编码，使得模型能够更灵活地捕捉序列中的位置关系。

2024-06-19 15:03:35 834

原创 CV.4 MMPN Multi-supervised Mask

论文提出了一种名为MMPN（Multi-supervised Mask Protection Network）的深度学习模型，旨在解决全色（PAN）图像与多光谱（MS）图像融合过程中出现的边缘模糊和光谱失真问题。该研究旨在生成高空间分辨率的多光谱图像（HRMS），这对于诸如变化检测、救援、导航和地图制作等领域至关重要。

2024-06-13 22:12:58 988

原创 CV.3 A Novel Learnable Interpolation

这篇论文提出了一种创新的方法，旨在通过结合神经网络与传统插值技术的优势，解决实际场景中对单幅图像任意尺度超分辨率（SISR）的需求。论文的主要贡献在于设计了一个可学习的插值模块，以及一个对尺度敏感的通道注意力模块，这些组件可以作为一个插件集成到现有的SISR模型中，以提升对不同放大倍数图像的处理能力。

2024-06-12 23:25:51 1026

原创 CV.2 RaSa Relation Sensitivity

提出了一种新的方法来应对文本引导的人像搜索难题。该任务要求在给定文本描述的情况下从大量图像中检索出指定个人的照片。RaSa方法通过引入两个新颖的学习任务——关系感知学习（RA）和敏感度感知学习（SA）——来优化多模态表示学习，从而提升检索效果。关系感知学习(RA)旨在解决现有方法忽视的一个关键问题：弱正样本中的噪声干扰。弱正样本指的是文本描述与图片之间存在不精确对应的情况，这可能导致模型过拟合。

2024-06-12 19:02:34 714

原创 CV.1 Tracking Different Ant

本文提出了一种新颖的无监督领域适应框架，专门用于解决的难题。由于蚂蚁缺乏显著的个体视觉特征、密集群体以及多种外观形态，自动跟踪一直是一项极具挑战性的任务。本研究的核心是一个端到端可训练的多目标跟踪器，它首次利用了来实现跨物种的泛化能力。该框架基于一个结合检测与跟踪的架构，并融入了一组领域歧视器模块，通过对抗性训练策略，这些模块与跟踪损失共同工作，以缩小源域和目标域之间的表现差距。此外，论文还介绍了一个大规模的蚂蚁数据集和针对无监督领域适应多目标跟踪的基准测试。

2024-06-11 15:57:01 629

LLM.04 TimeBench:LLM时间推理能力的综合评估

2024-06-29

LLM.03 Apollo Oracle Retrieval Augmented Reasoning:多智能体辩论与检索增强

2024-06-28

LLM.02 Mixed Distillation Helps Smaller Language Model Better Re

这篇论文介绍了一种名为“混合蒸馏”（Mixed Distillation, MD）的框架，旨在通过结合“思考过程链”（Chain of Thought, CoT）和“程序思考路径”（Program of Thought, PoT）两种能力，来提升小型语言模型在推理任务上的表现。论文指出，尽管大型语言模型（Large Language Models, LLMs）在自然语言处理（NLP）任务上取得了显著成就，但它们的高计算和内存需求限制了实际应用。因此，研究者探索如何将LLMs的知识迁移到小型模型中，以在保持性能的同时降低资源消耗。

2024-06-28

01.Tracking Different Ant Species.pdf

2024-06-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人