m0_65864640的博客

原创 LoRA & QLoRA

原创 LBMKGC:LargeModel-Driven Balanced MultimodalKnowledge Graph Completion

多模态知识图谱补全（MMKGC）旨在通过协同建模三元组结构与实体关联的多模态信息（如文本、图像、视频等），预测知识图谱中缺失的实体、关系或属性，助力自动发现此前未被观测到的事实性知识。（1）不同模态间的实体信息分布失衡；（2）单实体内部多模态信息的异质性；（3）给定实体在不同上下文下，各模态的信息贡献度不一致。本文提出一种全新的大模型驱动的均衡式多模态知识图谱补全框架，命名为LBMKGC。首先，LBMKGC 采用大尺度生成视觉模型对失衡的跨模态信息进行增强；

原创 Diffusion-based Hierarchical Negative Samplingfor Multimodal Knowledge Graph Completion

多模态知识图谱补全（MMKGC）旨在解决多模态知识图谱（MMKG）中存在的知识缺失关键问题，以推动其更广泛的应用。然而，现有的多模态知识图谱补全方法和负采样（NS）方法均忽略了利用多模态信息，从不同语义层次和难度层次生成多样且高质量的负三元组，这限制了多模态知识图谱补全模型的训练效果。为此，本文提出一种适用于多模态知识图谱补全任务的新型基于扩散的分层负采样（DHNS）方法，该方法通过构建基于扩散的分层嵌入生成模块（DiffHEG）

原创 The Power of Noise: Toward a Unified Multi-modal KnowledgeGraph Representation Framework

多模态预训练技术的发展凸显了构建稳健的多模态知识图谱（MMKG）表示学习框架的必要性。该框架对于将结构化知识大规模融入多模态大语言模型（LLM）至关重要，旨在缓解知识误解、多模态幻觉等问题。为评估模型在多模态知识图谱中精准嵌入实体的能力，多模态知识图谱补全（MKGC）与多模态实体对齐（MMEA）。在此基础上，我们提出了一种新颖的 SnAg 方法，该方法采用基于 Transformer 的架构，结合模态级噪声掩码机制，实现知识图谱中多模态实体特征的稳健融合。

原创 MULTIPLE HEADS ARE BETTER THAN ONE: MIXTUREOF MODALITY KNOWLEDGE EXPERTS FOR ENTITYREPRESENTATION

学习高质量的多模态实体表示是多模态知识图谱（MMKG）表示学习的重要目标，该目标可增强 MMKG 内部的推理任务（如多模态知识图谱补全，MMKGC）。核心挑战在于协同建模海量三元组中隐藏的结构信息与实体的多模态特征。现有方法侧重于设计精巧的实体级多模态融合策略，却忽视了不同关系语境下模态内部隐藏的多视角特征的利用。为解决这一问题，本文提出一种新型模态知识混合专家框架（简称 MOMOK），通过学习自适应多模态实体表示以实现更优的 MMKGC 性能。我们设计了关系引导的模态知识专家，用于获取。

原创 Unveiling cross-modal consistency: Taming inter- and intra-modal noise for robust multi-modal knowle

多模态知识图谱补全（MMKGC）旨在通过融合三元组的结构信息和实体相关的多模态特征，预测知识图谱中的缺失链接。然而，现有方法主要侧重于设计各种复杂的多模态特征融合机制，却忽视了模态内噪声和模态间噪声（即模态内的无关信息和跨模态的语义冲突）带来的影响。为解决这些挑战，我们提出了 ROAD—— 一种新颖的稳健自适应去噪表示学习框架，该框架可减轻这两种噪声的影响，从而实现更准确、更稳健的多模态知识图谱补全。具体而言，为处理模态内噪声，我们引入了一种基于信息瓶颈的正则化策略。

原创 Context-aware Inductive Knowledge Graph Completion with Latent TypeConstraints and SubgraphReasoning

归纳式知识图谱补全（KGC）旨在对含未见实体的缺失三元组进行预测。近期研究多将头尾实体间的推理路径作为直接支持证据进行建模，但这类方法严重依赖推理路径的存在性与质量，限制了其在不同场景下的通用性。此外，我们发现知识图谱中固有的潜在类型约束和邻域事实，对缺失三元组的推理也至关重要。为充分利用知识图谱中的所有有用信息，我们提出一种新颖的上下文感知归纳式知识图谱补全方案 CATS。在恰当的提示引导和有监督微调的支持下，CATS 能激活大型语言模型强大的语义理解与推理能力，对查询三元组的存在性进行评估。

原创 Towards Structure-aware Model for Multi-modal Knowledge Graph Completion

知识图谱在推动各类多媒体和人工智能应用中发挥着关键作用。然而，随着多模态信息的爆炸式增长，传统知识图谱补全模型已无法直接适用，这吸引了大量研究者投身多模态知识图谱补全研究。由于多模态知识图谱将知识图谱拓展至视觉和文本领域，MMKGC 面临两大核心挑战：（1）如何处理细粒度的模态信息交互与感知；（2）如何在多模态知识融合中确保图结构的主导地位，并处理模态融合过程中其他模态产生的噪声。为应对这些挑战，本文提出一种新型 MMKGC 模型TSAM。

原创 MyGO: Discrete Modality Information as Fine-Grained Tokens for Multi-modal Knowledge Graph Complet

本节将详细介绍我们提出的框架 ——MyGO（全称：ModalitY information as fine-Grained tOkens，即 “将模态信息作为细粒度令牌”）。我们采用主流的多模态知识图谱补全（MMKGC）设定 ，涵盖图像和文本两种模态。MyGO 主要包含三个核心模块：模态令牌化模块、层级三元组建模模块和细粒度对比学习模块， 分别用于处理、融合和增强多模态知识图谱（MMKG）中的细粒度信息。图 2 直观展示了 MyGO 的设计架构。

原创 INCADE：面向多模态知识图谱补全的社区感知解耦专家模型

多模态知识图谱（MMKG）补全旨在通过利用结构信息和多模态数据（如图像和文本）来推断知识图谱中缺失的链接。尽管现有方法聚焦于多模态特征融合，但它们往往未能将模态特定特征与共享特征解耦，导致嵌入表示冗余且次优。此外，实体间的隐式语义相关性常常被忽视。为解决这些问题，我们提出了INCADE，这是一个隐式实体社区感知解耦专家框架，它联合捕获实体间隐式的高阶相关性，并解耦模态特定与共享表示。INCADE引入了一个实体社区感知编码器来建模隐式的实体交互，并通过辅助任务（例如，模态记忆与模态遗忘）来强制实现解耦。

原创 Simple is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieva

大型语言模型展现出强大的推理能力，但也面临幻觉和知识过时等局限。基于知识图谱的检索增强生成通过将LLM输出建立在来自KG的结构化外部知识之上，解决了这些问题。然而，当前的基于KG的RAG框架在识别合适数量的相关图谱信息供LLM消化方面，仍然难以在检索效果和效率之间取得平衡。我们提出了SubgraphRAG，它扩展了基于KG的RAG框架，通过检索子图并利用LLM进行推理和答案预测。我们的方法创新性地集成了一个轻量级多层感知机与并行三元组评分机制。

原创 GNN-RAG: Graph Neural Retrieval for Efficient Large Language ModelReasoning on Knowledge Graphs

知识图谱问答中的检索增强生成 通过从知识图谱中检索信息来增强大语言模型的上下文。最近的方法大多依赖成本高昂的大语言模型调用来生成可执行的关系路径或遍历知识图谱，这在复杂的知识图谱问答任务中效率低下。我们提出了Gnn-Rag框架，该框架利用轻量级图神经网络进行高效且有效的图检索。该图神经网络学习 根据节点与问题的相关性以及其相邻节点的相关性来为节点分配重要性权重。这使得该框架能够有效处理图中远处节点的上下文，从而提升检索性能。

原创 查找知识图谱顶刊论文指南

(North American Chapter of the ACL) 也是NLP领域的高水平会议。是知识图谱嵌入等方向论文的优选。是展示你工作的绝佳舞台。

原创 TiRGN: Time-Guided Recurrent Graph Network with Local-Global HistoricalPatterns for Temporal Knowle

时序知识图谱（TKG）在对事实随时间动态变化进行建模的各个领域中得到广泛应用。在TKG推理的外推设定中，由于未来发生的事实完全未知，洞悉历史成为预测未来事实的关键。然而，这对于现有模型而言仍是一个巨大挑战，因为它们难以充分学习历史事件的特征。从历史发展规律的角度来看，综合考虑历史事实的时序性、重复性和周期性模式，有助于预测未来事实。为此，我们提出了一种新颖的用于TKG推理的表征学习模型，即TIRGN，一种具有局部-全局历史模式的时间引导循环图网络。TIRGN使用局部循环图编码器网络来建模。

原创 RE-GCN:Temporal Knowledge Graph Reasoning Based on Evolutional Representation Learning

Sigmoid 函数是一种在机器学习和深度学习中非常基础且重要的激活函数。它的核心特性是将一个任意范围的实数映射到一个固定的 (0, 1) 区间内。公式为：S(x) = 1/（1+e^(-x)）更新门为什么这么设计？它创建了一条“高速公路”，允许 H_{t-1} 的信息直接、无损地（通过加法）传递到 H_t，缓解了深层GNN带来的问题。梯度可以直接通过 H_{t-1} 这条路径回传，使得模型能够学习到长程的序列依赖。模型不是简单地堆叠信息，而是学会在每个时间步动态地决定应该记住多少过去、应该相信多少现在。

原创 Re-Net:Recurrent Event Network: Autoregressive Structure Inference overTemporal Knowledge Graphs

知识图谱推理是自然语言处理中的一项关键任务。在时序知识图谱中，每个事实都关联一个时间戳，这使得该任务变得更具挑战性。大多数现有方法专注于在过去的时间戳上进行推理，无法预测未来发生的事实。本文提出了循环事件网络（RE-Net），这是一种用于预测未来交互的新型自回归架构。事实（事件）的发生被建模为一个基于历史知识图谱序列的条件概率分布。具体来说，我们的RE-Net采用一个循环事件编码器来编码过去的事实，并使用一个邻居聚合器来建模同一时间戳下事实间的联系。基于这两个模块，未来事实可以以序列化的方式被推断出来。

原创 TTransE:Encoding Temporal Information for Time-Aware Link Prediction

目前大多数知识图谱嵌入方法仅从无时间标签的事实三元组中学习，而忽略了知识库中的时序信息。本文提出一种新颖的时序知识图谱嵌入方法，该方法利用了事实的发生时间。具体而言，我们使用时序约束来建模时间敏感关系之间的转换，并强制使嵌入表示在时间上保持一致且更为准确。我们在链接预测和三重分类两个任务上对本方法进行了实证评估。实验结果表明，我们的方法在这两个任务上均一致地优于其他基线模型。

原创 MoSE: Modality Split and Ensemble forMultimodal Knowledge Graph Completion

多模态知识图谱补全（MKGC）旨在预测知识图谱中缺失的实体。先前研究通常在不同模态间共享关系表示，这导致训练过程中模态间相互干扰——因为对于一对实体，某模态的关系可能与另一模态的关系相矛盾。此外，基于共享关系表征进行统一预测的做法，将不同模态的输入等同对待，而它们对MKGC任务的重要性本应存在差异。本文提出MoSE框架，即面向MKGC的模态分离表征学习与集成推理框架。具体而言，在训练阶段，我们为每种模态学习独立的模态分离关系嵌入，而非共享单一模态嵌入，从而缓解模态干扰。基于这些嵌入，在推理。

原创 250929第一次算法设计作业：题三

指数转化为二进制，通过判断各位为0还是1，来乘上对应的a^(2^k)

原创 K-ON: Stacking Knowledge On the Head Layer of Large Language Model

实体的名称（文本标签）是由一个或多个 token 组成的。。因此，要让 LLM生成或识别一个实体，本质上就是让它按正确顺序生成构成该实体名称的一系列 token。近年来，大型语言模型（LLMs）的进展显著提升了各类自然语言处理（NLP）任务的性能。传统上，LLMs通过预测下一词元（token）进行训练这与多数NLP任务高度契合。然而在知识图谱（KG）场景中，实体作为基本单元，其识别往往需要多个词元共同完成，导致KG与自然语言之间存在粒度失配问题。为此，我们提出K-ON方法，通过。

原创 250929第一次算法设计作业：题二

输入正整数X,判断有多少个满足要求的正整数D存在，要求是。

原创 250929第一次算法设计作业：题一

Joyvan的矩阵。

原创 250929第零次算法设计作业：题一

main。

原创 IKRL:Image-embodied Knowledge Representation Learning

实体图像能为知识表示学习提供重要的视觉信息。大多数传统方法仅从结构化三元组中学习知识表示，而忽略了从实体图像中提取的丰富视觉信息。本文中，我们提出了一种新颖的图像化身的知识表示学习模型（IKRL, Image-embodied Knowledge Representation Learning），该模型同时利用三元组事实和图像来学习知识表示。更具体地说，我们首先使用神经图像编码器为实体的所有图像构建表示。然后，通过这些基于注意力的方法，将这些图像表示整合成一个聚合的、基于图像的表示。

原创 LLM、多模态、RAG、Fine-tuning、Agent

他的知识仅限于他“背诵”过的（训练数据），一旦问题超出他的记忆范围，或者需要最新的、非常具体的数据，他就只能瞎编或写不知道；如果说基础LLM是一个“百科全书式的大脑”，多模态为它添加了“眼睛和耳朵”，RAG为它配备了“可随时查阅的图书馆”，那么。遇到问题时，他会先跑去查找最相关、最权威的参考书和资料，然后结合自己的理解和语言能力，组织出一个准确、有据可循的答案。无论是ChatGPT的“用必应搜索浏览”功能，还是许多企业的智能客服和知识问答系统，其背后核心都有RAG的身影。能力相结合的技术框架。

原创 知识图谱：RotatE学习笔记

自对抗负采样将当前模型中难以区分、得分更高的负样本赋予了更高的权重，以使模型更有指向性的优化。

原创 知识图谱：KG-BERT学习笔记

BERT 应用于知识图谱补全。

原创 知识图谱、transE、transR学习笔记

知识图谱（Knowledge Graph）是一种用结构化形式来描述现实世界中事物及其相互关系的技术。它本质上是一个巨大的“语义网络”，由“节点”和“边”组成。

原创 （论文阅读笔记）REAL-TIME IMAGE DEMOIREING ON MOBILE DEVICES ---中英互译

论文阅读翻译

原创 qt+python 学生管理系统（自用）

qt+python 学生管理系统 自用

原创 学习总结7：ROS入门

学习总结7：ROS入门

原创 学习总结6：ROS入门

学习总结6：ROS入门

原创 学习总结5：ROS初步认识

学习总结5：ROS初步认识

原创 学习总结4：pyqt各种应用

学习总结4：pyqt各种应用

原创 学习总结3：pyqt各种应用

学习总结3：pyqt各种应用

原创 学习总结2：pyqt初识

学习总结2：pyqt初识

原创 学习总结1：Linux入门命令行

Linux入门命令行