Re60：读论文 FILM Adaptable and Interpretable Neural Memory Over Symbolic Knowledge

于 2023-12-13 21:35:06 发布
阅读量142 收藏
点赞数
分类专栏： 人工智能学习笔记 文章标签： transformers LLM NLP 大规模预训练语言语言模型 自然语言处理 BERT FILM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PolarisRisingWar/article/details/134982140
版权

诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类

论文名称：Adaptable and Interpretable Neural Memory Over Symbolic Knowledge
模型名称：Fact Injected Language Model (FILM)

NAACL版网址：https://aclanthology.org/2021.naacl-main.288/

本文是2021年NAACL论文，作者来自谷歌。

这篇论文解决的也是LM中信息更新难（需要改数据重新训练）的问题，提出了可解释的神经符号知识库fact memory，每个元素来自一个三向量组（每个向量对应一个知识库实体或关系）。
entity memory
FILM：masked LM

总之就是这种堆叠的模型……
在这里插入图片描述

这篇论文看起来太堆叠了，没什么值得我现在研究的trick，而且是谷歌论文（谷歌的论文普遍晦涩难懂），所以没有仔细看。

实验

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

这个是考虑到训练集使用数据的问题：
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

诸神缄默不语
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
FaE：基于符号知识的适应性和可解释的神经记忆
NLPlunwenjiedu的博客
03-07 937
本文作者开发了一种神经语言模型Facts-as-Experts (FaE)，其在神经网络语言模型和符号知识库（symbolic KB）之间建立了一个桥梁，将深度神经网络的表达能力优势和符号知识库的推理能力优势进行了有机结合。
openfin-demo：AdapTable OpenFin集成演示
02-15
OpenFin AdapTable演示去做安装注意：为了能够运行npm install ，您首先需要登录到我们的私有NPM注册表-按照的说明进行操作如果您没有可修改的登录名，请联系 根据您所使用的工具，运行npm install （或yarn ）。...
诸神缄默不语的论文阅读笔记和分类
最新发布
诸神缄默不语的博客
06-27 612
诸神缄默不语的论文阅读笔记和分类：作者论文阅读笔记的目录或索引
NLP的“第四范式”之Prompt Learning总结：44篇论文逐一梳理
Kaiyuan_sjtu的博客
11-04 2777
作者|杨浩@阿里达摩院研究方向|自然语言处理整理|Paperweekly背景随着 GPT-3 诞生，最大的版本多达 1750 亿参数，是 BERT-BASE 的一千多倍...
ACL 2022 主会长文论文分类整理
Kaiyuan_sjtu的博客
05-13 5731
© 作者｜蒋锦昊 机构｜中国人民大学高瓴人工智能学院研究方向 | 自然语言处理导读ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。官方发布的接收论文列表：Accepted Papers...
【AAAI 2021】全部接受论文列表（五）
yinizhilianlove的博客
01-14 7242
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
【AAAI 2021】全部接受论文列表（二）
yinizhilianlove的博客
01-14 5548
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
总结 | ACL2022主会论文分类整理
04-25 1万+
大家好，我是对白。ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。本文对ACL 2022接受列表中的的602篇主会长文论文，按不同的研究主题进行分类整理（分类标准参考 ACL 官方投稿主题），整理过程中难免有疏漏，欢迎大家在下方评论留言，交流探讨！论文列表已经同步更新到 GitHub，欢迎大家关注和 Star。目录Adversari
AAAI2021论文列表（中英对照）
dovings的博客
07-04 7860
AAAI2021论文列表（中英对照）
NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-29 1万+
​ NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读 目录 相关文章 《GPT-3: Language Models are Few-Shot Learners》的翻译与解读 Abstract 摘要 1 Introduction 介绍 2 Approach方法 3 Results 结果 4 Measuring and Preventing Memorization Of Ben
Reproductive and competitive radial basis function networks adaptable to dynamical environments
06-29
Reproductive and competitive radial basis function networks adaptable to dynamical environments Reproductive and Competitive Radial Basis Function Networks Adaptable to Dynamical Environments Koji...
adaptable-layout:可以自动安排孩子的布局
05-08
compile 'com.github.lassana:adaptable-layout:1.0.0' } 在代码中： AdaptableLayout layout = (AdaptableLayout) view.findViewById(R.id.layout); layout.addView(button1); layout.addView(button2); layout....
adaptable-text:将字体大小调整为指定的宽度
04-30
安装npm install adaptable-text用法import AdaptableText from "adaptable-text" ;const textToAdapt = new AdaptableText ( document . querySelector ( ".textToAdapt" ) , { step : 0.1 , minFontSize : 10 , ...
Learn Qt 5: with Qt, C++, and QML
05-11
Learn to write scalable, robust and adaptable C++ code with QT Deploy your application on different platforms such as Windows, Mac OS, and Linux Book Description Qt is a mature and powerful framework...
TensorFlow安装教程
热门推荐
诸神缄默不语的博客
05-28 6万+
本文介绍TensorFlow在Linux系统上的安装方法。
cs224w（图机器学习）2021冬季课程学习笔记集合
诸神缄默不语的博客
05-26 4万+
我自己写的cs224w（图机器学习）2021冬季课程笔记的目录
huggingface.transformers安装教程
诸神缄默不语的博客
02-28 3万+
本部分介绍transformers包如何安装，安装后如何检验是否安装成功，以及cache的设置和离线模式如何操作。
60分钟闪击速成PyTorch（Deep Learning with PyTorch: A 60 Minute Blitz）学习笔记
诸神缄默不语的博客
04-24 2万+
PyTorch官方教程：60分钟闪击速成PyTorch（Deep Learning with PyTorch: A 60 Minute Blitz）的学习笔记。
please star a topic talk and give a decribiation of my emotion
04-02
Topic: The Benefits of Traveling As an AI language model, I do not have the capability to perceive human emotions. However, I can provide information about the benefits of traveling, which may evoke positive emotions in some people. Traveling can have several benefits on an individual's physical, mental, and emotional well-being. It allows people to break out of their routine, explore new cultures, and gain a different perspective on life. Traveling can also help individuals build confidence, develop resilience, and become more adaptable to change. Additionally, it can provide a sense of relaxation and reduce stress levels by providing a break from the daily routine. Traveling can also have economic benefits, as it creates jobs and stimulates local economies. It can also foster a deeper appreciation for nature and encourage sustainable tourism practices. Overall, traveling can be a life-changing experience that can provide numerous benefits. It can broaden one's horizons, enrich one's life, and create unforgettable memories.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值