LLM相关技术
文章平均质量分 93
关注LLM最新技术进展,相关paper解读
回锅肉炒肉
这个作者很懒,什么都没留下…
展开
-
港大推出XRec:「会说话」的推荐系统大模型, 从黑盒预测到可解释
代码链接: https://github.com/HKUDS/XRec论文链接: https://arxiv.org/pdf/2406.02377实验室链接: https://sites.google.com/view/chaoh最近,香港大学数据智能实验室推出了一款名为 XRec 的全新智能大模型,旨在为传统推荐系统注入可解释性的新动力。XRec 利用大语言模型(LLM)的强大自然语言处理能力,为推荐系统赋予了可解释性,让系统不仅能给出精准的推荐结果,还能用通俗易懂的语言向用户阐述其推荐依据。通过这种融合原创 2024-07-02 13:41:38 · 1140 阅读 · 0 评论 -
ICML2024 | 『即插即用,快速适配』港大发布全新智慧交通时空预测模型:FlashST
尽管现有时空预测方法已显示出其有效性,但大多数时空预测模型在面对不同下游数据集和任务中的分布变化时往往难以有效泛化。其中,训练数据与测试数据之间分布不一致的假设成为了真实城市场景中准确预测的障碍。如图1所示,直接将从数据集A上学到的参数应用于数据集B的测试,可能因不同数据分布间的时空特征显著变化而导致性能不佳。有效地从下游任务中提取特定的复杂时空上下文信息是至关重要的。然而,赋予预训练模型快速理解并整合仅在测试期间可访问的新领域数据的空间和时间特性的能力是一个巨大的挑战。原创 2024-06-05 16:06:46 · 947 阅读 · 0 评论 -
港大新工作 HiGPT:一个模型,任意关系类型 !
总得来说,我们将实现"一个模型,建模任意关系类型C1. 关系类型异质性偏移。本研究中我们关注的一个主要挑战是各种异质图结构中关系类型异质性的偏移。在这些图中,实体由各种类型的关系连接,而这些关系类型可能在各种数据集中有很大的差异。为了说明这一点,让我们考虑两个例子。在推荐系统中,异质图可能涉及user和item之间的节点关系。另一方面,在学术图中,关系可能涉及"论文-论文"、“作者-论文"和"论文-会议”。这些例子说明了不同的异质图可能在不同领域中展示出具有不同语义的各种关系异质性。原创 2024-03-26 15:02:14 · 1156 阅读 · 0 评论 -
港大提出图结构大语言模型:GraphGPT
总得来说,将大语言模型与图学习结合是一项重大的挑战。首先,在图的结构信息和语言空间之间实现适当的对齐需要深入的研究。同时,如何引导大语言模型有效地理解图的结构信息,以及如何赋予大语言模型对于图学习下游任务逐步推理的能力,都是当前面临的关键问题。为了深入了解直接使用纯文本提示为大语言模型建模图结构的局限性,本文进行了一系列的实验和对比,如图1所示。这些实验揭示了仅依赖文本提示进行图结构建模时可能出现的潜在问题。原创 2024-03-14 13:10:11 · 1255 阅读 · 0 评论 -
智慧城市大模型来啦!港大&百度推出UrbanGPT
时空预测旨在对不断变化的动态城市场景进行预测和洞察,涵盖了时间和空间两个维度。其目的是预测城市生活各个方面的未来时空模式、趋势和事件,包括交通、人口流动和犯罪率。尽管大量相关工作致力于开发神经网络技术来准确预测时空数据,但值得注意的是,许多方法很大程度上依赖于拥有足够的训练样本来生成精确的时空表示。不幸的是,数据稀缺的问题在实际的城市传感场景中普遍存在。在某些情况下,从下游场景收集任何标记数据变得具有挑战性,从而进一步加剧了问题。因此,有必要建立一个能够在不同的时空场景中表现出强大的泛化能力的时空模型。原创 2024-03-13 17:44:16 · 957 阅读 · 0 评论 -
港大新工作,通用图基座模型OpenGraph,从LLM中蒸馏零样本图泛化能力!
模型的总体架构包括三个部分:1)统一图Tokenizer,2)可扩展的图 Transformer,3)对大语言模型的知识蒸馏。原创 2024-03-13 15:07:46 · 965 阅读 · 0 评论 -
港大提出GraphEdit, 图数据编辑大模型!
图结构学习(Graph Structure Learning, GSL)旨在通过生成新的图结构来捕捉图结构数据中节点之间的内在依赖性和交互关系。图神经网络(Graph Neural Networks, GNNs)作为一种有前景的GSL解决方案,通过递归消息传递来编码节点间的相互依赖性。然而,许多现有的GSL方法过度依赖于作为监督信号的显式图结构信息,使它们容易受到数据噪声和稀疏性的挑战。原创 2024-02-27 17:05:26 · 1197 阅读 · 0 评论