[论文阅读]Chain-of-Knowledge: Grounding Large Language Models via Dynamic Knowledge Adapting over Hetero

已于 2024-09-17 22:12:59 修改
阅读量304 收藏 1
点赞数 2
分类专栏： 论文阅读 文章标签： 论文阅读
于 2024-09-11 19:53:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52911108/article/details/142071390
版权

会议名称：International Conference on Learning Representations 2024（ICLR 2024）

发布链接：http://arxiv.org/abs/2305.13269

阅读原因

1.方班需要 2.LLM相关

核心内容

把问题拆解为一个个的小问题，通过一个个的小问题逐个递推最终得到需要的结果。比如文章中举出的例子：

就像是下定义一般，先是寻找所谓的执导演员是谁，然后再去依据得到的这个人名去检索出生年份，是一个逐个递推的过程。在问题中，出生年份是目标，定义是某个人的出生年份；该人的定义是执导……

知识链（Chain of Knowledge，CoK）：是一个使用异构知识源动态增强  LLM 的框架。

使用推理矫正后得到的知识来指导下一次的推理生成，可以有效避免LLM一本正经胡说八道

自适应  查询生成器 (AQG),专门用于生成针对每个知识源定制的查询。AQG 用途广泛,可以  在微调模型和黑盒 LLM 之间无缝转换；

CoK 逐步纠正原理,确保先前原理的不准确性不会传播到后续步骤；

最后是在一些必须保证真实性的领域例如事实、医学、物理和生物学这些领域上开展了实验，对比了实验结果。

优势

子问题分解，使得开销更小，训练成本更低；结果返回来作用于模型，使得模型能够持续学习新的东西。

不足

既然数据都来源于审查过的网络，那么使用搜索引擎的API来辅助推理是否更加高效呢？

0x211
关注
专栏目录
Plug-and-Play Grounding of Reasoning in Multimodal Large Language Models
c_cpp_csharp的专栏
06-26 36
以其先进的指令遵循和推理能力而闻名的多模态大型语言模型（MLLMs）的兴起，极大地推动了视觉推理领域的发展。然而，由于其图像标记化过程的局限性，大多数MLLM难以捕捉图像中文本和对象的精细细节，尤其是在高分辨率样本中。为了克服这一限制，我们引入了P2G，这是一种用于MLLMs即插即用接地的新框架。P2G利用MLLM的工具使用潜力，使用专家代理将推理动态地嵌入图像中的关键视觉和文本元素，从而通过多模态提示实现深思熟虑的推理。
CHAIN-OF-KNOWLEDGE: GROUNDING LARGE LANGUAGE MODELS VIA DYNAMIC KNOWLEDGE ADAPTING OVER HETEROGENEOU
YiHanXii的博客
06-28 350
在CoK框架中，异构源的使用允许模型从多种类型的数据源中检索和整合知识，以提高对复杂问题的理解和回答的准确性。通过结合这些不同来源的知识，CoK能够生成更加丰富、准确和可靠的推理解释和答案。：如Wikipedia、Wikidata等，它们提供广泛的公共知识，可以被用来支持和验证语言模型生成的信息。：包括图像、视频、音频等多种形式的数据，它们可以提供不同类型的信息，需要特定的处理方法来解析和利用。：针对特定主题或领域的数据源，例如医学文献、科学论文或法律文件，这些数据源包含高度专业化的知识。
【MLLM阅读笔记-9】KOSMOS-2精读，多模态大模型目标检测：Grounding Multimodal Large Language Models to the World
Mugi_jiang的博客
08-30 980
论文标题： KOSMOS-2: Grounding Multimodal Large Language Models to the World GitHub： https://aka.ms/GeneralAI需要部署教程的话在评论区提，作者会更的。强调grounding能力的多模态大模型。 构建了大规模的定位图文对数据集GRIT。 能用于各种定位相关的下游任务。 并非通用MLLM，没有做MME等基准的实验，可以视为一个可对话的OVD检测模型，带caption功能。先强调了一下grounding能力的重要性和
速通GPT-3：《Language Models are Few-Shot Learners》全文解读
逐梦苍穹的博客
09-07 1278
速通Language Models are Few-Shot Learners文章，带你快速了解GPT-3
【MLLM阅读笔记-10】Groma精读: Localized Visual Tokenization for Grounding Multimodal Large Language Models
Mugi_jiang的博客
09-02 601
论文：《Groma: Localized Visual Tokenization for Grounding Multimodal Large Language Models》Github：纯手打，非机翻。
《RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control》译读笔记
墨门
08-01 408
对于在互联网规模数据上训练的视觉-语言模型，本文研究了如何将其直接融入到端到端的机器人控制中，以提高其泛化能力并实现新的语义推理能力。我们的目标是使一个单一的端到端训练的模型既能够学习将机器人的观察映射到动作，又能够享受在互联网的语言和视觉-语言数据上进行大规模预训练的好处。为此，我们提出了在机器人轨迹数据和互联网规模的视觉语言任务（例如：visual question answering）上联合微调最先进的视觉语言模型。
【论文阅读】GeoChat : Grounded Large Vision-Language Model for Remote Sensing
weixin_56603442的博客
02-18 1487
目前的大型视觉语言模型（VLMs）虽然能用于对给定的自然图像内容进行对话，但是这种通用领域的模型在遥感影像的场景中往往表现不佳，造成在遥感影像中特定查询时出现不准确或伪造的信息。为了解决这些问题，本文提出了第一个多功能遥感模型Geo Chat，将多模态指令调整扩展到遥感领域以训练多任务会话助手。
论文阅读笔记：T-Rex2: Towards Generic Object Detection via Text-Visual Prompt Synergy
HollowKnightz的博客
08-23 1273
论文阅读笔记：T-Rex2: Towards Generic Object Detection via Text-Visual Prompt Synergy
Large-scale Knowledge Base Completion: Inferring via Grounding Network Sampling over Selected Instances
02-11
本文提出了一种结合了逻辑推理与嵌入式模型优点的新方法——通过选定实例上的接地网络采样进行推理（Inferring via Grounding Network Sampling over Selected Instances, INS），旨在解决传统推理方法在处理大规模...
Temporal-Language-Grounding-in-videos:通过语言进行时空（动作）本地化时空语言地面视频时空检索
05-04
2020年以前的论文主要由收集。 目录 要被更新 ... 搜索中使用的关键字 接地，检索，本地化 文件 民意调查 没有任何。 前 . Yu等人， ACL 2013 。 CVPR 2014 Dahua等， CVPR 2014 。 AAAI 2015 . Xu等人， AAAI ...
Refer-it-in-RGBD:CVPR 2021中我们的论文“在Refer-it-in-RGBD中”​​的资料库
03-17
这是CVPR 2021中论文“在RGBD中引用：一种在RGBD图像中进行3D视觉接地的自底向上方法”的资料库。 纸 （ ） 项目页面： ： ###简介我们提出了在单视图RGB-D图像中进行3D视觉接地的一项新任务，在该视图中，通常仅...
车辆重识别（去噪扩散概率模型）论文阅读2024/9/27
最新发布
vegetabler的博客
09-28 192
是和β有关的一个项，而β是初始给出的参数。②因为q（xt|x0）是知道的，所以q（xt|x0）*q(x0)这个式子对x0求积分，得到的是q(xt)的概率分布，而我们想要使得最终的分布是各向独立的高斯分布，只需令此时的分布均值为0，方差为1就行了。然后，我们在T个轮次中，不断向其加入高斯噪声（其实加入高斯噪声指的就是对于每一步的xt，对其参数重整化，也就是说让xt*σ+μ，当然这里的σ和μ都不是一个简单的值，使得经过处理之后的xt符合相应的高斯分布），使得最终的xT变成了一个各向独立的高斯分布。
论文笔记——Graph Bottlenecked Social Recommendation
保持学习
09-27 734
论文精度及其代码复现——Graph Bottlenecked Social Recommendation
【Anti-UAV410】论文阅读
weixin_45074568的博客
09-25 1010
比较结果见表II。值得注意的是，Anti-UAV 410数据集显示了很大比例的小目标，其中超过一半的目标的尺寸小于50像素，甚至包括一定比例的微小目标（尺寸小于10像素），这些微小目标被其他数据集（如VOT-TIR 2015 [35]、VOT-TIR 2016 [5]、PTB-TIR [26]和LSOTB [6]）遗漏。反无人机数据集[2]是一个多模态数据集，包括318个视频对。该数据集旨在解决不同模式下反无人机跟踪的挑战，例如基于视觉的跟踪器可能表现不佳的低光条件。
GS-SLAM论文阅读笔记--GLC-SLAM
qq_45795134的博客
09-23 1076
现有的基于3dgs的SLAM方法往往存在累积的跟踪误差和地图漂移，特别是在大规模环境中。Photo-SLAM结合了基于ORB-SLAM的闭环，但其对基于特征的跟踪器的依赖限制了闭环的有效性，因为跟踪器无法利用地图的细化。基于nerf的SLAM方法集成了在线闭环来实现准确和鲁棒的跟踪，但需要存储历史帧和昂贵的重新训练整个隐式建图来更新回环矫正。
9、论文阅读：无监督的感知驱动深水下图像增强
DQHNB的博客
09-27 597
当前的 UIE 算法主要通过最小化增强图像和地面真实图像之间的重建损失，在合成数据集或具有伪标签的数据集上训练深度神经网络（DNN）。但是，合成和真实的水下图像有差距，在合成图像上训练的网络在真实环境下不一定有好的表现。并且使用L1和L2损失函数，往往忽视人类感知的重要性，（L1和L2损失只关注像素级别的差异，没有考虑人类视觉系统的感知特性。人类的眼睛对边缘和纹理的变化敏感，但是对颜色变化相对不敏感。为此，可以使用感知损失或者风格迁移损失 ​），导致增强的图片不尽人意。因此，本论文提出了一个。
论文阅读（十一）：CBAM: Convolutional Block Attention Module
悟兰因的博客
09-28 597
论文题目：CBAM: Convolutional Block Attention Module（CBAM：卷积注意力机制）论文目的：卷积注意力模块（CBAM）是一种前馈卷积神经网络注意力模块。给定一个中间特征图，CBMA会沿着两个单独的维度（通道和空间）顺序推断注意力图，然后将注意力图乘以输入特征图进行自适应特征细化。并且，CBAM是一个轻量级的通用模块，它可以无缝集成到任何CNN架构中。
论文阅读 | 一种基于潜在向量优化的可证明安全的图像隐写方法（TMM 2023）
2301_81845359的博客
09-23 981
针对现有的可证明安全的图像隐写不能抵抗有损图像操作，而现有的生成图像隐写不能证明安全问题，提出一种基于潜在向量优化的可证明安全的图像隐写方法，该方法受到逆采样器和噪声层的启发。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值