论文十 Do PLMs Know and Understand Ontological Knowledge?

最新推荐文章于 2024-11-01 16:31:37 发布
最新推荐文章于 2024-11-01 16:31:37 发布
阅读量521 收藏 5
点赞数 4
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45923810/article/details/137500507
版权

创新点

本文通过设置两个大语言的下游任务Memorizing Task（记忆任务）和Reasoning Task（推理任务）来判模型是否对存储了知识的本体含义，而不是表面的记忆。

实验结果

  1. 大型语言模型（PLMs）可以记忆某些本体知识，但并不完美。
  2. 大型模型并不一定在记忆本体知识方面表现得更好。
  3. 大型语言模型（PLMs）对本体知识背后的语义理解有限。
  4. 对于语言模型来说，属性的同义转换是一个挑战。

Memorizing Task（记忆任务）

Memorizing Task
两种提示词模板
本论文的实验实在Bert和Roberta上进行，可以很好的实现屏蔽词预测任务

Reasoning Task（推理任务）

逻辑推理
逻辑推理
逻辑推理任务通过对输入两条提示词，再要求模型进行预测，从而检测模型的逻辑推理能力

论文地址

拉链夹叼
关注
整合目前最先进的技术理论和实践经验，帮助读者系统地掌握预训练语言模型（Pre-trained language models，PLMs）的基本知识、应用、发展方向及未来趋势
AI天才研究院
08-01 1747
2020年是深度学习与自然语言处理领域的元年，也是一个重大的里程碑事件。NLP领域利用了深度学习的最新技术，通过训练模型预测语言、文本等高维数据，取得了极其惊人的成就。近几年，无论是从语言模型到文本分类、问答系统，或是零样本学习（Zero-shot learning）、下游任务指导下的迁移学习，在NLP技术发展上都取得了长足进步。
KEPLER: A unified model for knowledge embedding and pre-trainedlanguage representation
weixin_44466434的博客
12-06 199
知识嵌入和预训练语言表示的统一模型
ACL 2023奖项公布：3篇最佳论文、39篇杰出论文，多家国内机构上榜
weixin_40920183的博客
07-11 803
来源：机器之心ACL 是计算语言学和自然语言处理领域的顶级国际会议，由国际计算语言学协会组织，每年举办一次。一直以来，ACL 在 NLP 领域的学术影响力都位列第一，它也是 CCF-A 类推荐会议。今年的 ACL 大会已是第 61 届，将于 2023 年 7 月 9 日至 14 日在加拿大多伦多举行。今年共评选出 3 篇最佳论文，4 个特别奖项论文：资源奖（Resource Award）、社会影响...
Do PLMs Know and Understand Ontological Knowledge?
Claire的博客
11-03 89
预训练语言模型是否能够理解本体知识？探究预训练语言模型能否存储本体知识，并对知识进行语义理解。PLM的记忆程度：实体类型，类和属性之间的层次关系。属性的域和范围约束。本体论知识图Lionel Messi 梅西是阿根廷足球队的一名成员梅西的类型是一个人，人是属于动物的阿根廷足球队是一个足球队，足球队是一个组织member of Sports Team 是类和属性之间的关系member of Sports Team 是Member of 的子属性属性的域和范围约束。
ACL 2023杰出论文 | 探测语言模型对本体知识的记忆与理解
Paper weekly
08-13 218
©作者 |吴蔚琪单位 |上海科技大学大型语言模型的出现极大地推动了自然语言处理领域的进步，但同时也存在一些局限性，比如模型可能会产生看似合理但实际上是错误或虚假的内容，这一现象被称为幻觉（hallucination）。幻觉的存在使得大型语言模型在关键任务和实际应用中的可靠性受到挑战。模型产生幻觉可能是由于模型缺乏或错误地理解了相关的知识。当人类思考和记忆事物时，本体知识在我们的思维过程中扮演着...
论文浅尝 | 研究预训练语言模型对本体知识的掌握程度
开放知识图谱
08-02 246
转载公众号| AINLPACL (Association for Computational Linguistics）会议是计算语言学和自然语言处理领域的顶级国际会议，同时也是CCF-A 类推荐会议。第61届ACL会议于2023年7月9日至14日在加拿大多伦多举行。本文*Do PLMs Know and Understand Ontological Knowledge?*荣获ACL 2023杰出...
论文阅读（4）Watermarking PLMs on Classification Tasks by Combining Contrastive Learning with Weight ……
Study____forever的博客
01-26 790
然而，通过初步实验发现，该方法注入的水印在微调后容易失效（Fig. 2c），不适用于模型水印。通过嵌入可以由特定输入触发的后门来研究在 PLM 中嵌入水印的可行性。作者在水印阶段使用对比学习，允许特定输入的表示与其他输入分离，并在微调后映射到特定标签。相关工作证明，在不知道下游数据集的情况下，向 PLM 注入后门是有可能的。因此，作者们在预训练阶段引入了对比学习损失，使恶意样本远离嵌入空间的良性样本（Fig. 2c）。（例如，全 1 向量），并在预训练阶段使用以下损失来最小化该向量与恶意句子。
论文笔记 （ACL 2022）Context Matters: A Pragmatic Study of PLMs’ Negation Understanding - 预训练模型真的理解了否定吗？
CSDN_Shaw的博客
05-12 455
在语言学中，否定观主要有两种观点：语义观和语用观。迄今为止，NLP对否定的研究几乎完全遵循语义观。在本文中，我们采用语用学研究范式，以基于Transformer的PLMs为研究对象，对否定理解进行研究。我们的结果不同于以往基于语义学的研究，因此有助于对PLMs的否定理解做出更全面- -以及更乐观的描述。
【论文阅读】1_A Survey on Model Compression and Acceleration for Pretrained Language Models
zoetu
04-26 318
模型压缩与加速的最新综述
论文阅读：SMedBERT: A Knowledge-Enhanced Pre-trained Language Model with Structured Semantics for Medical
Hero19980512的博客
05-20 1832
论文阅读：SMedBERT: A Knowledge-Enhanced Pre-trained Language Model with Structured Semantics for Medical Text Mining 来源：ACL 2021 下载地址：https://arxiv.org/pdf/2108.08983.pdf Abstract 最近，通过注入知识事实以增强其语言理解能力，预训练语言模型（PLM）的性能得到了显着提高。对于医学领域，背景知识源尤其有用，因为医学术语海量，它们之间的复杂关系
arXiv论文：轻松了解9月第3周NLP领域最新进展
weixin_48594156的博客
09-20 310
分享arXiv上自然语言处理（NLP）的最新前沿论文！从语言模型到机器翻译，从情感分析到问答系统。关注我们，了解语言智能的最新突破，掌握 NLP 技术的未来趋势。本文给大家分享最近一周的ArXiv上NLP最新进展。
CSS常用标签笔记
qq_14822691的博客
10-28 715
cursor:url(图片地址), 属性值;
[自用，更新自day5]瑞吉外卖代码及笔记
lapiii的博客
11-01 421
当使用ThreadLocal维护变量时，ThreadLocal为每个使用该变量的线程提供独立的变量副本，所以每一个线程都可以独立地改变自己的副本，而不会影响其它线程所对应的副本。Mybatis Plus公共字段自动填充，也就是在插入或者更新的时候为指定字段赋予指定的值，使用它的好处就是可以统一对这些字段进行处理，避免了重复代码。因为在分页查询的Dish的records(菜品记录中)，只有这个菜品所属的categoryId，但是我们需要分页的时候展示的是菜品名字。
点云学习笔记3——读取点云文件、进行统计滤波/直通滤波后可视化
qq_64095888的博客
10-29 173
【代码】点云学习笔记3——读取点云文件、进行统计滤波后可视化。
星河飞雪网络安全学习笔记-shodan使用3
weixin_52567283的博客
10-29 367
shodan使用3
diffusion model 学习笔记
wubing's 博客
11-01 567
郎之万公式: 描述了粒子做随机布朗运动 (粒子位置随时间变化的关系), 是一种 SDE, 描述了 由梯度力(即.即我们在无条件模型 DDPM 估计的噪声中添加一个微小的扰动(. 基本上,在采样一半时,基本上预测的。输出的是噪声的估计, 这个估计的噪声。通过上面的公式，我们可以知道，当知道。),就可以作为条件模型的噪声估计.首先,假设我们已经有了一个训练好的。: 每一步中保留的原始信号的比例。的计算有各种不同的方法，). 已经接近于真实的。)影响的系统的时间演化.也就是,我们训练的网络。
《使用Gin框架构建分布式应用》阅读笔记：p234-p250
codists的博客
10-29 1001
书里使用的是RabbitMQ(https://www.rabbitmq.com/)，这里补充一点说明：a、访问管理页面从3.8版本开始，管理插件(rabbitmq_management)默认不器用。需要先启用才能使用访问管理页面。b、默认帐号、密码如果启动容器的时候未设置密码，账号、密码默认是guest、guest。c、各端口作用client端通连接端口：5672页面管理访问端口： 15672服务间通信端口：25672d.管理页面Overview > Totals 缺少图exit。
笔记整理—linux驱动开发部分（4）驱动框架
最新发布
qq_35229394的博客
11-01 513
整理一下学习的内容，个人观点可能存在错误。本章介绍了如何使用linux提供的内核框架写驱动，并介绍了编写过程以及常用的接口，本章有点长，慢慢看吧。
TS学习笔记
Seven_Ting的博客
11-01 183
安装命令第一步：新建index.html和demo.ts第二步：在index.html引入demo.ts文件第三步：运行TS的命令注意：运行命令后，会将ts文件转换成js文件如果想要实时转换运行命令。
stable-diffusion的plms.py 介绍。
06-14
`stable-diffusion` 是一个用于图像生成和插值的开源库，其中的 `plms.py` 模块实现了一个基于 Langevin 动力学的概率级联模型（Probabilistic Level-set Model，简称 PLMS）。 PLMS 是一种基于分段函数的生成模型，其核心思想是将生成图像的像素值划分为多个级别，并对每个级别分别建立一个 Langevin 动力学系统来模拟其生成过程。在训练过程中，PLMS 通过最小化生成图像的负对数似然来调整每个级别的分段函数和 Langevin 系统的参数，从而使得生成图像的分布与真实数据的分布尽可能接近。 在 `plms.py` 中，PLMS 的实现主要包括以下几个部分： 1. 分段函数的定义：PLMS 将像素值划分为多个级别，并对每个级别定义一个分段函数，用于计算该级别内像素的概率密度。 2. Langevin 系统的定义：PLMS 对每个级别的分段函数建立一个 Langevin 系统，用于模拟该级别内像素的生成过程。Langevin 系统的参数包括噪声强度、扩散系数和漂移力。 3. Langevin 动力学的模拟：PLMS 使用 Euler-Maruyama 方法对 Langevin 系统进行数值模拟，从而生成新的图像样本。 4. 训练过程的实现：PLMS 通过最小化生成图像的负对数似然来调整分段函数和 Langevin 系统的参数。训练过程采用随机梯度下降算法，每次迭代使用一个小批量的图像样本进行计算。 总的来说，`stable-diffusion` 中的 `plms.py` 实现了一个基于分段函数和 Langevin 动力学的生成模型，可以用于图像生成和插值任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值