【论文阅读】LLM4SGG: Large Language Models for Weakly Supervised Scene Graph Generation

最新推荐文章于 2024-11-11 22:09:06 发布
最新推荐文章于 2024-11-11 22:09:06 发布
阅读量841 收藏 19
点赞数 25
文章标签： 论文阅读 语言模型 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46052134/article/details/139236534
版权
论文提出LLM4SGG，利用大型语言模型解决弱监督场景图生成中的语义过简化和低密度场景图问题。方法包括使用LLM提取三元组和进行实体/谓词对齐，通过Chain-of-thought策略和上下文少样本学习，无需微调即可改善模型性能，提高Recall@K和mR@K指标。
摘要由CSDN通过智能技术生成

【论文阅读】LLM4SGG: Large Language Models for Weakly Supervised Scene Graph Generation

abstract

由于全监督方法严重依赖昂贵标注，最近弱监督场景图生成(WSSGG)研究替代方案出现。在这一点上（ In this regard），针对WSSGG的研究主要利用图像标题（image caption）来获取非局部三元组，而主要关注将非局部三元组建立在图像区域上。（In this regard, studies on WSSGG have utilized image captions to obtain unlocalized triplets while primarily focusing on grounding the unlocalized triplets over image regions.）这句话翻译不明白，后续再补充
然而，他们忽略了在三元组形成过程中涉及的两个问题:
1)从标题中提取三元组时存在语义过于简化的问题，导致标题中的细粒度谓词被不理想地转换为粗粒度谓词，从而导致长尾谓词分布;
2)将标题中的三元组与筛选的实体/谓词类对齐时存在低密度的场景图问题，其中许多三元组被丢弃并未用于训练中，导致监督不足。
为解决这两个问题，本文提出了一种新的方法，即弱监督SGG的大型语言模型(LLM4SGG)，通过利用LLM在从标题中提取三元组以及实体/谓词类与目标数据对齐期间对语言和推理能力的深入理解来缓解这两个问题。为了进一步让LLM参与这些过程，我们采用了思维链的思想和上下文内的少样本学习策略。 为了验证fllm4sgg的有效性，在Visual Genome和GQA数据集上进行了广泛的实验，与最先进的W

最低0.47元/天 解锁文章
进击的乔洋
关注
论文翻译：Large Language Models for Education: A Survey and Outlook
CSPhD-winston的博客
07-12 1481
大型语言模型（LLMs）的出现为教育领域带来了新的可能性时代。这篇综述论文从多方面的角度总结了LLMs在教育环境中的各类技术，包括学生和教师的辅助、自适应学习和商业工具。我们系统性地回顾了每个角度的技术进步，整理了相关的数据集和基准测试，并识别了在教育中部署LLMs所面临的风险和挑战。此外，我们概述了未来的研究方向，突出了潜在的有希望的方向。我们的调查旨在为教育工作者、研究人员和政策制定者提供一个全面技术图景，利用LLMs的力量来彻底改变教育实践，并促进更有效的个性化学习环境的形成。
论文笔记《LLMRec: Large Language Models with Graph Augmentation for Recommendation》
qq_43238825的博客
07-02 1174
香港大学和百度合作发表在WSDM 2024的一篇文章。目光聚焦在解决侧信息用来辅助推荐时出现的数据噪声、数据异构型以及数据不完整性问题，提出了采用三种图增强策略的LLMRec框架。
【论文阅读】LLM4CP: Adapting Large Language Models for Channel Prediction（2024）
Glass_Gun的博客
09-05 1152
massive multi-input multi-output (m-MIMO)，大规模多输入多输出。large language models (LLMs)，大语言模型LLMs。该论文把大语言模型LLM用到物理层通信无线信道CSI预测上。channel prediction，信道预测。time-series，时间序列。fine-tuning，微调。
论文阅读：Large Language Models for Education: A Survey and Outlook
CSPhD-winston的博客
07-08 1296
论文概述了LLMs在教育环境中的多种技术，包括学生和教师辅助、自适应学习和商业工具。系统回顾了每个视角下的技术进步，整理了相关数据集和基准测试，并识别了LLMs部署在教育中的相关风险和挑战。概述了未来的研究方向，强调了有前景的方向。
Making Large Language Models Perform Better in Knowledge Graph Completion论文阅读
GCTTTTTT的博客
01-23 1713
基于大语言模型（LLM）的知识图补全（KGC）旨在利用 LLM 预测知识图谱中缺失的三元组，并丰富知识图谱，使其成为更好的网络基础设施，这可以使许多基于网络的自动化服务受益。然而，基于LLM的KGC研究有限，缺乏对LLM推理能力的有效利用，忽略了KG中的重要结构信息，阻碍了LLM获取准确的事实知识。在本文中，论文中讨论如何将有用的知识图谱结构信息融入到LLM中，旨在实现LLM中的结构感知推理。论文中首先将现有的LLM范式转移到结构感知设置，并进一步提出知识前缀适配器（KoPA）来实现这一既定目标。
【论文阅读】《Graph Neural Prompting with Large Language Models》
飞跃大海的猪
03-01 1678
本文提出了图神经提示（Graph Neural Prompt），从知识图谱中学习到拥有的知识并整合到与训练的LLM，帮助预训练的LLMs从知识图谱中学习有用的知识。
论文笔记：Time-LLM: Time Series Forecasting by Reprogramming Large Language Models
qq_40206371的博客
04-21 1066
iclr 2024 reviewer 评分 3888。
论文阅读 - TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS
qq_40671063的博客
05-28 2641
时间序列预测在许多真实世界的动态系统中具有重要意义，并已得到广泛研究。与自然语言处理（NLP）和计算机视觉（CV）不同，在自然语言处理和计算机视觉中，一个大型模型可以处理多个任务，而时间序列预测模型往往是专门的，需要针对不同的任务和应用进行不同的去符号化。虽然预训练基础模型在 NLP 和 CV 领域取得了令人瞩目的进展，但它们在时间序列领域的发展却受到了数据稀缺性的限制。最近的研究表明，大型语言模型（LLM）对复杂的标记序列具有强大的模态识别和推理能力。然而，如何有效地。
《Retrieval-Augmented Generation for Large Language Models: A Survey》 AI 解读
明明如月的技术博客
04-01 1530
论文标题：《Retrieval-Augmented Generation for Large Language Models: A Survey》
[论文笔记]Query Rewriting for Retrieval-Augmented Large Language Models
日积月累，天道酬勤
06-11 1705
⭐ 作者提出了可在查询之前先应用LLM作为重写器对问题进行重写，然后再走RAG的流程。同时也提出了可以训练一个小模型来作为重写器。但博主对该小模型的泛化能力存疑。建议还是通过在提示词中给一些示例，让LLM进行重写。
论文翻译：Large Language Models for Education: A Survey
CSPhD-winston的博客
07-11 1220
人工智能（AI）对传统教育产生了深远的影响。近年来，大型语言模型（LLMs）已经被越来越多地应用于各种场景，例如自然语言处理、计算机视觉、语音识别和自动驾驶。LLMs也被应用于包括推荐、金融、政府、教育、法律事务以及金融等多个领域。作为强大的辅助工具，LLMs融合了深度学习、预训练、微调和强化学习等多种技术。将LLMs用于智能教育（LLMEdu）已经成为全球各国的重要战略方向。虽然LLMs在提高教学质量、改变教育模式和调整教师角色方面展现出巨大潜力，但这些技术仍然面临若干挑战。
Unlocking the Potential of Large Language Models for Explainable Recommendations
步子哥的博客
12-31 897
具体而言，通过采用几个关键的微调技术，包括参数有效的指示调优和个性化的提示技术，可以很好地生成可控和流畅的解释，以实现解释推荐的目标。最值得注意的是，我们提供了三个不同的角度来评估解释的有效性。这个框架的特点是强调了推荐模型和LLMs解释生成器之间的紧密协作，通过采用参数高效的指导调优和个性化提示技术，能够生成可控且流畅的解释，以实现解释推荐的目标。论文还讨论了LLMs生成的解释可能存在的问题，如有用性和偏见，并提出了未来研究的方向，包括提高解释的个性化程度、多样性和实时生成能力，以及探索多模态解释。
【论文阅读】Learning dynamic alignment via meta-filter for few-shot learning
cainiaomyf的博客
11-07 1029
小样本学习（Few-shot Learning, FSL）旨在通过极其有限的小样本（支持集）示例，适应已学到的知识来识别新类别，仍然是计算机视觉中的一个重要开放问题。现有的大多数小样本学习中的特征对齐方法仅考虑图像级别或空间级别的对齐，而忽略了通道差异。我们的观点是，这些方法会导致冗余匹配，从而导致适应性差，而利用通道级别的调整是将学到的知识有效适应到新类别的关键。因此，本文提出了一种动态对齐学习方法，可以根据不同的局部支持信息有效地突出查询区域和通道。
【论文笔记】Wings: Learning Multimodal LLMs without Text-only Forgetting
小嗷犬的博客
11-09 1007
多模态大型语言模型（MLLMs）以训练好的LLM为基础，首先将图像与文本对齐，然后对多模态混合输入进行微调。然而，MLLM在灾难性地忘记了仅包含文本的指令，这些指令不包括图像，可以在初始LLM中解决。在本文中，我们提出了WINGS，这是一种新型的MLLM，在纯文本对话和多模态理解方面都表现出色。分析MLLM在多模态指令中的注意力发现，纯文本遗忘与从预图像文本到后图像文本的注意力转移有关。据此，我们构建了额外的模块，作为增强学习器来补偿注意力转移。
[论文阅读]Secure IP Address Allocation at Cloud Scale
m0_52911108的博客
11-07 965
论文中提出了一种创新的IP分配策略，有效减轻了多租户攻击带来的安全威胁。此外，文中引入的冷却时间概念在蜜点防御中具有潜在应用，通过对分配给蜜点的IP设置冷却期，能有效防止攻击者通过频繁访问同一IP来识别蜜点，进而降低蜜点暴露的风险。然而，该论文也存在一些局限性。首先，如果攻击者具备创建无穷多新租户的能力，那么他们可能会持续获得未被标记的IP地址。由于新租户的平均分配时长初始为0，他们可能分配到从未被使用过的新IP，这在IP地址池有限的情况下，可能会使得策略难以完全阻止这种无穷扫描的行为。
自动驾驶安全方向论文阅读
最新发布
m0_57957187的博客
11-11 650
主要对自动驾驶安全方向的部分论文进行了检索和阅读，并做了摘要，提炼出关键方法使用及创新点，包括自动驾驶中的后门攻击及对抗攻击，包括车道检测以及目标识别等方面的安全问题。
【论文笔记】The Power of Scale for Parameter-Efficient Prompt Tuning
小嗷犬的博客
11-10 841
在这项工作中，我们探讨了“prompt tuning”，这是一种简单而有效的机制，用于学习“soft prompt”以条件化冻结的语言模型执行特定下游任务。与GPT-3使用的离散文本提示不同，soft prompt是通过反向传播学习的，并且可以调整以包含来自任意数量token示例的信号。我们端到端的学习方法在少样本学习方面优于GPT-3。
论文阅读-UnrollingNet:一种基于注意力的深度学习方法，用于分割隧道大尺度点云
weixin_43899239的博客
11-11 473
开发了一种新的。
【论文阅读】医学SAM适配器：适应医学图像分割的任意分割模型
川川自溢的博客
11-11 781
【论文阅读】医学SAM适配器：适应医学图像分割的任意分割模型
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值