NodePiece

已于 2022-06-19 17:17:53 修改
阅读量384 收藏 3
点赞数
文章标签： 人工智能
于 2022-06-19 15:58:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43973136/article/details/125358706
版权

目录

一、summary

二、method

anchor selection

node tokenization

anchor distance

relation context

三、experiment

transductive link predition+ablation

 inductive link predition

 node classification

总结

一、summary

        为解决大型KG上训练的计算负担，本文提出了一种模型压缩方法NodePiece，该方法基于固定尺寸大小的“锚点”，对每个顶点由其相邻的k个锚点及距离以及m个相邻的关系学习嵌入。企图利用较少的子实体对大型KG进行表示，并增强模型的泛化性。

二、method

        对知识图谱\small G=(N,E,R),NodePiece定义为\small a\in A,A\subset N，Nodepiece vocabulary定义为\small V=A+R，为保证可达性及出入度平衡\small R=R_{direct}+R_{inverse},每个节点的hash由相邻的k个锚点及距离以及m个相邻的关系表示，\small hash(n)=[a_i,z_{a_i},r_j],，再由编码函数\small enc:R^{(k+m)*d}\rightarrow R^d嵌入到向量空间中。

anchor selection

        实验发现随机选择与基于确定性的规则选择效果差不多。

node tokenization

        提出两种方法确定k个锚点，1.随机策略，均匀从\small \left ( |A|,k \right )可能组合选取，\small |A|和k由节点总数定义的可能组合的下界来选择，2.确定性策略，使用BFS直接对n的邻居进行检索并排序。对于孤立点，将其与标记为DISCONNECTED的锚点相连，或者是直接将其设为锚点，对大多KG影响忽略不计。

anchor distance

        利用原图中锚点与目标点的最短距离（整数），后将其映射为d维向量.

relation context

        随机采样m个相连的关系，少于m个则用[pad]补全.

encoding:

使用MLP和Transformer解码器实现编码函数，其中MLP的速度更快，能够更好地缩放具有更多边缘的图，transformer参数更少。

三、experiment

transductive link predition+ablation

 

其中FB15k-237比WN18RR的关系更为稠密，在消融实验中获得了不同的效果，且消融分析表明，增加锚的总数和每个实体的锚数量可以将性能提高到饱和点。

在大规模KG中，NodePiece获得了更好的结果。

 inductive link predition

 node classification

总结

nodepiece能够有效地减少了知识图谱表示的参数，且在大规模，关系稠密的知识图谱中能够得到更好的结果。

「已注销」
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【AI论文精粹】透明度图灵测试；尖峰神经网络；NodePiece；脑电解码方法
weixin_39786820的博客
11-29 957
可解释人工智能（XAI）的一个中心目标是改善人工智能交互中的信任关系。透明人工智能系统研究的一个假设是，解释有助于更好地评估机器学习（ML）模型的预测，例如，使人类能够更有效地识别错误预测。
NodePiece: Compositional and Parameter-Efficient Representations of Large Knowledge Graphs
羊城迷鹿的博客
11-06 1144
研究问题 将自然语言处理的WordPiece技巧迁移到知识图谱中并提出NodePiece，从而用较少的子实体嵌入去建模大规模知识图谱上的实体嵌入，并增强模型的泛化性能。 背景动机 大规模知识图谱的出现，使得学习所有节点的嵌入变得非常困难 NLP领域也面临过此表太大难以对所有词的嵌入建模的问题，采用了WordPiece技巧来解决。它不再把一个词看成一个整体，而是分割成几个子词。比如"loved",“loving”,“loves"这三个单词，其实本身的语义都一样，但是如果我们以单词为单位，那它们就算不一样的词
论文浅尝 | 知识表示、多模态融合、搜索匹配三大方向探索——360人工智能研究院知识图谱算法团队...
开放知识图谱
08-26 1251
转载公众号 | 老刘说NLP当前以促进技术发展、提升模型指标，探究模型天花板的竞赛越来越多，也逐步成为各大研究机构、互联网大厂竞相角逐的主战场。自2022年以来，在组员的共同努力下，团队(360人工智能研究院知识图谱算法团队)，陆续在知识表示、多模态知识融合、知识匹配三个方向上进行探索，并参加相关比赛，取得了一定的成绩。其中：知识表示方向上，提出StarGraph+TripleRE知识表示模型，当...
ICLR'22 | 图机器学习最近都在研究什么？
zenRRan的博客
11-22 5439
每天给你送来NLP技术干货！来自：图与推荐 ICLR由Yann LeCun和Yoshua Bengio等大牛发起，在2013年成立了第一届会议，会议开创了公开评议机制（open revie...
AGI 之 【Hugging Face】 的【问答系统】的 [构建问答系统] / [ 构建基于评论的问答系统 ] 的简单整理
仙魁XAN
07-12 774
AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。AGI能做的事情非常广泛：跨领域任务执行：AGI能够处理多领域的任务，不受限于特定应用场景。自主学习与适应：AGI能够从经验中学习，并适应新环境和新情境。
人工智能在自动驾驶中的目标检测研究
zhumin726的专栏
07-10 668
视觉识别技术在自动驾驶中的目标检测扮演着不可或缺的角色。通过不断优化目标检测算法，结合最新的深度学习技术，自动驾驶车辆将能够更加准确、安全地感知周围环境，实现真正的无人驾驶。视觉识别技术使得车辆能够像人类一样“看”到周围环境，通过图像处理和深度学习算法，实现对周围目标的检测和识别。我们将详细讨论目标检测的基本原理、常用算法、最新进展、已有的开源项目及其在自动驾驶中的应用和挑战。通过这些详细的讨论和分析，我们可以更好地理解人工智能在自动驾驶中如何通过视觉识别进行目标检测，并进一步推动这一技术的研究和应用。
聊聊如何在内网下构建大模型微调环境
python1234567_的博客
07-12 699
LlamaFactory新版更新后，还是比较方便，只是说llamafactory-cli命令的确是有点蒙，踩个坑就好了。对于LlamaFactory微调来说，本身不难，毕竟都是配置；主要是在内网环境下的依赖包拉取安装是真麻烦，但其实也还好。走一遍的话，还是可以学到很多的。​。
YOLOv10改进 | 特殊场景检测篇 | 轻量级的低照度图像增强网络IAT改进YOLOv10暗光检测（全网独家首发）
热门推荐
Snu77的博客
07-11 1万+
本文给大家带来的改进机制是轻量级的变换器模型：Illumination Adaptive Transformer (IAT)，用于图像增强和曝光校正。其基本原理是通过分解图像信号处理器（ISP）管道到局部和全局图像组件，从而恢复在低光或过/欠曝光条件下的正常光照sRGB图像。具体来说，IAT使用注意力查询来表示和调整ISP相关参数，例如颜色校正、伽马校正。模型具有约90k参数和约0.004s的处理速度，能够在低光增强和曝光校正的基准数据集上持续实现优于最新技术（State-of-The-Art, SOTA）
人力资源人工智能依赖于良好的数据
yongyoudayee的博客
07-12 579
人力资源不断发展(HR)人工智能在技术领域(AI)它已经成为改变游戏规则的力量。人工智能驱动的工具有望简化人力资源流程，提高管理能力，彻底改变员工体验。然而，这些人工智能解决方案的有效性仅取决于算法的复杂性或计算硬件的能力。事实上，这种模式的很大一部分取决于一个基本的——良好的数据。
CV06_Canny边缘检测算法和python实现
https://github.com/foxpup11?tab=repositories
07-11 824
https://www.bilibili.com/video/BV1qU4y1U7aK/?spm_id_from=333.337.search-card.all.click&vd_source=7dace3632125a1ef7fd32c285eb2fbac
阿里发布大模型发布图结构长文本处理智能体，超越GPT-4-128k
夕小瑶科技说
07-09 867
随着大语言模型的发展，处理长文本的能力成为了一个重要挑战。虽然有许多方法试图解决这个问题，但都存在不同程度的局限性。最近，阿里巴巴的研究团队提出了一个名为GraphReader的新方法，通过将长文本组织成图结构，并利用智能体来探索这个图，成功提升了模型处理长文本的能力。GraphReader的核心思想是将长文本分解成关键元素和原子事实，构建成一个图，然后让智能体在这个图中探索和推理。这种方法不仅能有效处理超长文本，还在多跳问答等复杂任务上取得了优异表现。
AI技术的转变：从辨别式到生成式
学IT，找陈寒
07-09 3357
李彦宏在2024世界人工智能大会上的发言，提醒我们在AI技术发展的道路上，不要盲目追求技术本身或表面的用户数据，而应更多地关注技术的实际应用和产业价值。在大模型技术与个性化应用之间找到平衡，将是未来发展的关键。作为AI从业者和技术爱好者，我们应以务实的态度，探索AI技术在各个领域的实际应用，为产业发展和社会进步贡献力量。通过李彦宏的发言，我深刻认识到AI技术发展的方向和挑战，也更加坚定了自己在这一领域继续探索和创新的信心。未来，愿我们共同努力，推动AI技术更好地服务于社会和产业，为人类创造更美好的未来。
7.深度学习概述
MechMaster
07-10 950
1. 线性回归 1.1 线性回归一般表达式 1.2 线性回归内积表达方式： 1.3 多个样本时，线性回归的进一步表达： 1.4 线性回归方程的解析 1.5 线性回归就是求loss函数的最小值 2. 如何求函数最小值 2.1 一个例子 2.2 求导法——求最小值 2.3 求导法存在的问题 2.4 迭代法——求最小值 3. 代码实现 3.1 手动求函数最小值 3.2 使用pytorch求函数最小值
LaneNet(1):网络结构详解
m0_51579041的博客
07-13 480
LaneNet(1):网络结构详解
Hugging Face使用笔记
人无远虑，必有近忧
07-09 1533
Hugging Face Hub和 Github 类似，都是Hub(社区)。Hugging Face可以说的上是机器学习界的Github。hugging face在NLP领域最出名，其提供的模型大多都是基于Transformer的。
华为910b推理Qwen1.5-72b
weixin_41549308的博客
07-12 603
910b部署推理大模型
藏汉翻译通作为翻译软件的优势有哪些？
2401_85470246的博客
07-09 381
藏汉翻译通以其强大的功能、高准确率的翻译以及用户友好的设计，成为了促进藏汉语言交流的有力工具。：西藏高驰公司加大智能语音技术研发，不断完善藏语方言语料库，以保障翻译的高准确率。：软件具备文字互译、语音翻译、文本朗读等功能，并提供专业藏语语音及文字显示。：藏汉翻译通适用于公共安全、智慧医疗、智慧旅游、商业贸易、政务服务等多个领域。：藏汉翻译通利用了人工智能翻译和语音识别合成技术，提供智能藏文翻译服务。：藏汉翻译通界面简洁明了，功能丰富且操作简便，易于用户学习和使用。
让音乐倾诉，人工智能精心写歌词
最新发布
haitunhaoma的博客
07-13 120
而歌词，则是音乐的灵魂伴侣，赋予旋律更深刻的意义和更强大的感染力。无论是欢快的节奏需要充满活力的表达，还是悲伤的旋律需要深情的倾诉，妙笔生词都能精准把握，用细腻且富有诗意的语言，为您的音乐搭建起一座与听众心灵相通的桥梁。“妙笔生词智能写歌词软件（veve299）”如同一位神奇的音乐魔法师，能够倾听您内心的声音，将您脑海中的旋律转化为饱含深情的歌词。让我们借助妙笔生词智能写歌词软件的力量，让音乐尽情倾诉，用人工智能精心谱写的歌词，传递那些无法言说的情感，触动每一个倾听者的心灵。
旷野之间13 - Transformer深度分析
ms44的专栏
07-11 434
Transformer 架构由研究员 Ashish Vaswani 于 2017 年在 Google Brain 工作时引入。生成式预训练 Transformer (GPT) 由 OpenAI 于 2018 年引入。主要区别在于 GPT 的架构中不包含编码器堆栈。当直接将一个序列转换为另一个序列时，编码器-解码器组合非常有用。GPT 的设计重点是生成能力，它取消了解码器，同时保持其余组件的相似性。GPT 模型是在大量文本语料库上进行预训练的，无需监督，可以学习所有单词和标记之间的关系⁵。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值