COMET：Commonsense Transformers for Automatic Knowledge Graph Construction

最新推荐文章于 2024-06-24 09:42:16 发布
最新推荐文章于 2024-06-24 09:42:16 发布
阅读量2.3k 收藏 5
点赞数 1
分类专栏： 阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jinselizhi/article/details/103928105
版权

2019.06 - ACL 2019 自动常识知识库构建

论文笔记
论文数据、demo
论文代码

概览

利用ATOMIC训练GPT模型，该GPT模型又反过来生成了许多全新的且合理的知识，达到了图谱补全的效果。（Allen实验室：自动常识知识库构建）

作者提出Commonsense Transformers(COMET)生成模型，主体框架是Transformer语言模型。

（在问答等领域，可以实现对同一个问题，有不同的回答）

如何利用常识知识辅助阅读理解任务是目前比较热门的方向。

推理能力从ATOMIC的50%提升到56.45%。

自动构建的常识库准确率是77.5%，和ATOMIC人工构建的常识库的86%对应。

谁怕平生太急
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AI之KE：Knowledge Engineering知识工程的简介、发展、应用案例之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-22 4675
AI之KE：Knowledge Engineering知识工程的简介、发展、应用案例之详细攻略 目录 Knowledge Engineering知识工程的简介 0.1、What 0.2、How 0.3、Why 1、知识工程过程的5个活动 2、知识图谱的应用 Knowledge Engineering知识工程的发展 1、前知识工程时期——1950-1970时期：图...
论文 | 知识图谱自动构建 Automatic Knowledge Graph Construction
小布莱克的博客
10-07 4686
知识图谱（Knowledge Graph）自Google提出来之后，从一开始的Google搜索，到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统，无一不跟其相关。自动构建知识图谱，使得图谱可以不断的增加新的节点和关系补全，对于不同领域的应用而言都具有及其重要的意义。
常识性概念图谱建设以及在美团场景中的应用
数据派THU
07-02 362
来源：美团技术团队 本文约9600字，建议阅读15分钟本文介绍了美团常识性概念图谱构建的Schema，图谱建设中遇到的挑战以及建设过程中的算法实践，最后介绍了一些目前常识性概念图谱在业...
探索预训练变换器中的知识神经元：knowledge-neurons项目深度解析
最新发布
gitblog_00060的博客
06-24 367
探索预训练变换器中的知识神经元：knowledge-neurons项目深度解析 项目地址:https://gitcode.com/Hunter-DDM/knowledge-neurons 在当今的AI研究前沿，自然语言处理（NLP）领域的突破不断，而“Knowledge Neurons in Pretrained Transformers”项目正是这股浪潮中的一颗璀璨之星。该项目基于ACL-202...
论文笔记 — COMET【自动常识知识库构建】
IndexFziQ CSDN
07-04 4331
From Allen Institute for Artificial Intelligence and Microsoft Research. Authors: Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, Yejin Choi Title: COMET: Commonsen...
【知识图谱论文】知识图谱自主构建综述A Comprehensive Survey on Automatic Knowledge Graph Construction
weixin_44184852的博客
02-09 1787
已经为正式定义知识图谱做出了许多贡献。王等[38]将知识图谱建模为多关系图，其中节点是实体，边代表不同类型的关系。然而，以前的定义没有考虑知识图谱中的语义结构。Ehrlinger和Wo β[39]进一步强调，知识图谱将信息排列成一个本体，然后用“推理器”启发新的知识发现。为了具体突出支持知识级信息的本质成分，吴等[31]将知识图谱定义为语义图，其中节点表示概念（实体/属性/事实），边表示连接节点的关系，同时利用关于概念和关系的背景知识。知识图谱GG定义为GERTFkGERTFk。
预训练语言模型论文分类整理
zenRRan的博客
07-21 628
点击下面卡片，关注我呀，每天给你送来AI技术干货！© 作者｜王晓磊机构｜中国人民大学高瓴人工智能学院博士生导师｜赵鑫教授研究方向 | 对话系统1. 引言近年来，以 BER...
语言comet_《COMET》阅读笔记
weixin_36244175的博客
01-11 470
来源：ACL2019论文：《COMET : Commonsense Transformers for Automatic Knowledge Graph Construction》Abstract 我们首次全面研究了两种流行常识知识图的自动知识库构建：ATOMIC（Sap et al.，2019）和ConceptNet（Speer et al.，2017）。与许多使用规范模板存储知识的传统知识库相...
dynamic konwledge grapy construction for zero-shot commonsense question answering
qq_37299352的博客
06-25 658
一、知识概念 1、zero-shot learning(ZSL) 零次学习：指之前没有这个类别的训练样本，但是通过学习可以得到一个映射，如果学习的足够好就可以识别未见到的类 源于：人类现有的语言知识库，提供了对新的或未曾学习过的类的高级描述，并在它与学习到的类以及视觉概念之间建立了联系 2、对话状态跟踪dialogue state tracking（DST） 对话状态：用户目的 表示形式：slot-value 概率分布，称作置信状态（belief state或者belief）：首先每个 sl.
交大ADAPT实验室 | 常识知识论文列表
blmoistawinde的博客
11-16 1361
近年来，常识知识(commonsense knowledge)越发成为NLP领域，乃至多模态，跨学科的研究热点。尽管以BERT为代表的的预训练语言模型已经在实体识别、机器翻译、情感分析等任务上取得了亮眼的表现，它们在面对一些人类可以使用常识轻易解决的问题时仍然表现不佳，面对对抗样本时也极为脆弱。似乎这些模型知识只是学到了一些浅层线索和语义，而与人类的知识体系并不相同。因此，将常识知识融入机器学习中就成为了一个充满前景的解决方案。不过，如何抽取常识知识，如何利用常识知识，乃至如何定义“常识本身”依然是有待研究
comet-commonsense:ACL 2019 论文代码
08-04
要运行生成实验（conceptnet 或 atomic），请按照以下说明操作： 第一步 第一个克隆，repo： git clone https://github.com/atcbosselut/comet-commonsense.git 然后运行设置脚本从 OpenAI 获取预训练模型文件，以及 ATOMIC 和 ConceptNet 数据集 bash scripts/setup/get_atomic_data.sh bash scripts/setup/get_conceptnet_data.sh bash scripts/setup/get_model_files.sh 然后安装依赖项（假设你已经有 Python 3.6 和 Pytorch >= 1.0： pip install tensorflow pip install ftfy==5.1 conda install -
知识图谱与语言预训练_biji
wang2008start的专栏
12-19 487
知识图谱和Bert结合学习使预训练更加有文化 ERNIE: Enhanced Language Representation with Informative Entities GPT2和知识图谱结合，生成新的节点和边 COMET : Commonsense Transformers for Automatic Knowledge Graph Construction.ACL2019...
《Knowledge Neurons in Pretrained Transformers》论文解读 ACL2022
weixin_39663419的博客
05-12 821
提示学习论文解读-原理分析
Knowledge Neurons in Pretrained Transformers论文学习
乐趣是人为构建的，构建是一种莫大的乐趣。
01-29 1010
有关知识学习： 此外，即使没有微调，我们也可以利用知识神经元显式地编辑(如更新和删除)经过训练的transformer的特定事实知识。FFN类似于neuron的database. paper里提出方法用来解决“怎么找到具体的一条knowledge对应哪些neurons”的问题 ...
北京大学 & 微软：预训练模型（Transformer）中的知识神经元
Paper weekly
11-12 511
©作者 | 方鱼单位 | 北京科技大学研究方向 | 问答系统大型预训练语言模型能很好的记忆训练语料中的事实知识。在这篇文章中，我们探究隐式知识如何存储在预训练 Transformers 中...
论文浅尝 | WWW2022 - “知识提示”之知识约束预训练微调
开放知识图谱
02-02 1946
本文作者 | 陈想（浙江大学）、张宁豫（浙江大学）、谢辛（陈想）、邓淑敏（浙江大学）姚云志（浙江大学）、谭传奇（阿里巴巴），黄非（阿里巴巴），司罗（阿里巴巴），陈华钧（浙江大学）接收会议 ...
(五十六)：Integrating Multimodal Information in Large Pretrained Transformers
Wangzx的博客
10-09 969
@[TOC]((五十六)：Integrating Multimodal Information in Large Pretrained Transformers) 出处：ACL 2020: 2359-2369 代码：https://github.com/WasifurRahman/BERT_multimodal_transformer 题目：在大型预训练变压器中集成多模式信息 主要内容：介绍了一种有效地微调多模态语言预训练的大型Transformer模型的方法。使用提出的多模态自适应门(MAG)， BER
Java实现Comet风格Web应用：技术详解与设计模式
本文将深入探讨如何利用Java技术实现类似Comet风格的Web应用程序。首先，让我们理解什么是Comet。Comet是一种Web开发模式，也被称为反向Ajax或服务器端推送技术，它的核心理念是让服务器主动将数据推送到客户端，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值