CommonsenseQA：A question answering challenge targeting commonsense knowledge

最新推荐文章于 2024-12-02 19:40:58 发布
最新推荐文章于 2024-12-02 19:40:58 发布
阅读量1.7k 收藏 3
点赞数 1
分类专栏： 阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jinselizhi/article/details/103989733
版权

2019.03 -NAACL 2019

CommonsenseQA 任务排名结果
数据众包连接及demo
训练集
测试集
论文地址
论文解读1
论文解读2
技术分享丨ALBERT在CommonsenseQA方向的应用
ALBERT代码
ALBERT论文

任务关键

CommonsenseQA任务的关键是让模型学到更多的先验知识，这样在一些给定相关文件或上下文的问题（只需要很少的背景知识）上，模型获得的先验知识越多，给出正确预测答案的概率越大。

预训练本质

预训练本质上是通过设计好一个网络结构来做语言模型任务，然后把大量甚至是无穷尽的无标注的自然语言文本利用起来，预训练任务把大量语言学知识抽取出来编码到网络结构中，当手头任务带有标注信息的数据有限时，这些先验的语言学特征当然会对手头任务有极大的特征补充作用，因为当数据有限的时候，很多语言学现象是覆盖不到的，泛化能力就弱，集成尽量通用的语言学知识自然会加强模型的泛化能力。

改进方向

针对CommonsenseQA任务主要有两大改进方向，一是采用更强大，引用更多高质量、大规模数据集训练的预训练模型–xlnet、roberta、albert等。越强大的预训练语言模型其特征抽取能力越强，能更好的引入大量无监督数据中包含的语言学知识，其推理能力也就越强大。二是引入外部知识。针对常识问答在问题中只给定很少的背景知识，而预训练模型本身蕴含的知识不足以让模型“推理”出正确答案，于是，引入跟答案或者问题关联的外部知识就成了关键。

XLNet与Bert

XLNet通过引入permutation language modeling，解决了BERT预训练阶段和微调阶段差异性，消除了BERT的预测目标独立性假设，同时数据规模扩充到了126G。

RoBERTa与Bert

RoBERTa在BERT基础上主要做了四点改进：使用动态mask;移除NSP任务；更大的batch size;更长的输入序列。
同时，它使用了更大规模的数据集（160G）。

这或许证明不了这三个模型的内部机制谁更为优秀，但至少证明了一点:引入更大规模，更高质量的数据集能更好的提升模型表现。

本质上预训练是通过设计好一个网络结构来做语言模型任务，然后把大量甚至是无穷尽的无标注的自然语言文本利用起来，预训练任务把大量语言学知识抽取出来编码到网络结构中。这样，引入的数据集规模越大，质量越高，模型学到的先验的语言学特征越多，集成更多的通用的语言学知识，模型的泛化能力也就越强。

在CommonsenseQA任务上，目前由于并没有引入外部数据，并且需要正确预测只需要很少背景知识的问答，所以预训练模型本身蕴含的知识就成了关键。相比之下，RoBERTa引用了最大规模、更高质量的数据集（160G），故而目前效果最好。

ALBERT带来的变化

通常而言，在预训练自然语言表征时增加模型大小可以提升模型在下游任务中的性能。但在某些情况下，由于 GPU/TPU 内存限制、训练时间延长以及意外的模型退化等原因，进一步增加模型大小的难度也随之增加。为了解决这些问题，

谷歌提出了ALBERT（A Lite BERT），通过两种参数精简技术来降低内存消耗，提高BERT的训练速度。

  1. Factorized Embedding Parameterization。研究者通过将大的词汇嵌入矩阵分解为两个小的矩阵，从而将隐藏层的大小与词汇嵌入的大小分离开来。这种分隔使得在不显着增加词汇表嵌入参数大小的情况下更容易增加隐藏层的大小。

  2. Cross-layer Parameter Sharing。研究者共享了所有层的参数，这一技术可以避免参数量随着网络深度的增加而增加。

  3. 为了进一步提升 ALBERT 的性能，研究者还引入了一个自监督损失函数，用于句子级别的预测（SOP）。SOP 主要聚焦于句间连贯，用于解决原版 BERT 中下一句预测（NSP）损失低效的问题。

评价

ALBERT通过两大参数削减技术(嵌入向量参数化的因式分解、跨层参数共享）可以充当某种形式的正则化，使训练更加稳定，而且有利于泛化。然后为了进一步提升 ALBERT 的性能，研究者还引入了一个自监督损失函数，用于句子级别的预测（SOP）。SOP 主要聚焦于句间连贯，用于解决原版 BERT 中下一句预测（NSP）损失低效的问题。正是由于这些改造技术，能让ALBERT在很大程度上降低内存消耗，从而能够扩展为更大的版本。尤其要注意到ALBERT_xxlarge的隐藏层已经扩展到4096规模了（BER-TLarge隐藏层H为1024），这是模型能够进一步提升的重要原因。同时，由于所有层共享一样的参数，不断加深ALBERT的网络结构，无法获得持续的性能提升，所以ALBERT_xxlarge只有12层（BERTLarge为24层）。

ALBERT通过一系列改造，大大降低了内存消耗，从而能够扩展为更大版本-
ALBERT-xxlarge，成功地提升了模型的规模并且减少了参数（规模为BERTLarge的70%）。ALBERT_xxlarge超过RoBERTa也不奇怪了，毕竟，这两者“规模”不一样。

有趣的例子

demo

Q： bob早上想吃冰的、甜的东西，下面哪个合适？

A 冰淇淋 B 米饭 C 蛋糕 机器答： C

将C 蛋糕 改为 苦蛋糕 机器答： A

将C 蛋糕 改为 甜蛋糕 机器答： C

也就是说当前训练的72%准确率的模型知道 苦蛋糕不符合冰的、甜的概念，但同时也并不知道冰淇淋是冰的且甜的东西，至少不知道冰淇淋比甜蛋糕更符合问题的描述。

当“思维链”遇上模型蒸馏：探究 CoT 增强的奥秘
步子哥的博客
06-23 1577
近年来，大型语言模型（LLM）在自然语言处理领域取得了令人瞩目的成就。为了将大型模型的能力迁移到更小、更高效的模型中，模型蒸馏技术应运而生。而“思维链”（CoT）作为一种增强模型推理能力的技术，也逐渐成为研究热点。最新研究表明，将 CoT 与模型蒸馏相结合，可以显著提升小型模型的性能。本文将深入探讨 CoT 增强的奥秘，分析其如何提升模型蒸馏的效果。
论文阅读：Explanations for CommonsenseQA ：New Dataset and Models
Hero19980512的博客
04-08 3538
论文阅读：Explanations for CommonsenseQA ：New Dataset and Models 来源：ACL 2021 下载地址：https://aclanthology.org/2021.acl-long.238.pdf 本文主要贡献： 对于构成解释的内容，我们提出了一组特征（反驳完整、全面、最小、连贯）。 对于任何给定的（问题、正确答案选择、错误答案选择）元组，我们的解释构成了一组积极的属性来证明正确的答案选择和一组否定的属性来反驳不正确的答案。 我们对最近发布的 Common
COMMONSENSEQA: A Question Answering Challenge Targeting Commonsense Knowledge
weixin_43173180的博客
09-24 430
论文目的 构建常识问答数据集，该数据集的特点是： 问题可以不经过文本而轻易地根据常识被人类回答 最先进的预训练语言模型也无法取得很好的效果，而人类可以轻而易举的取得很好的效果 论文方法 向crowd workers提出问题，以描述来自CONCEPTNET的概念之间的关系，构建过程如下（figure 1）： A source concept (in green) and three target concepts (in blue) are sampled from CONCEPTNET (b) Cro
常识知识的本质：对常识数据集构建及LLM推理能力的深入探讨
Code1994的博客
12-02 845
常识数据集质量问题的根源在于常识定义的模糊性。不同研究者对常识的定义差异较大，这直接导致了在数据集构建过程中无法有效区分常识和非常识知识。一些研究者认为常识应涵盖人类日常生活经验中的所有知识，而另一些人则将常识限定为可以通过日常生活经验轻松获取的基本事实。由于缺乏统一标准，这种定义上的不一致性使得数据集中混入了大量非常识知识，进而削弱了对 LLM 常识推理能力的评估效果。因此，明确且一致的常识定义是构建高质量常识数据集的前提条件，也是准确评估 LLM 常识推理能力的基础。
【笔记4-1】近期论文笔记--基于常识的问答数据集CommonsenseQA
cindy_1102的博客
04-14 6253
COMMONSENSEQA: A Question Answering Challenge Targeting Commonsense Knowledge（一）论文概述（二）相关研究（三）数据集生成（1）CONCEPTNET提取过程（2）众包问题（3）增加额外的干扰项（4）验证问题质量（5）添加上下文（四）数据集分析CONCEPTNET中的概念和关系题目的形成常识技能（五）Baseline mod...
COSMIC: COmmonSense knowledge for eMotion Identification in Conversations
qq_56061892的博客
08-03 410
COSMIC情感识别模型
探索常识的力量：Generative Multi-Hop问答任务的利器 —— Commonsense QA引擎
gitblog_00846的博客
08-30 776
探索常识的力量：Generative Multi-Hop问答任务的利器 —— Commonsense QA引擎 CommonSenseMultiHopQACode for EMNLP 2018 paper "Commonsense for Generative Multi-Hop Question Answering Tasks"项目地址:https://gitcode.com/gh_mirro...
【论文笔记】Commonsense Knowledge Aware Conversation Generation with Graph Attention
记录学习^_^，欢迎交流~
07-05 400
常识知识增强的开放域对话生成
语言模型评估的标准：OLMES
步子哥的博客
06-13 956
使用测试集（如果可用），否则使用验证集。如果超过 1500 个实例，则对 1000 个实例进行采样。使用指定的精确提示格式（第 3.1 节）使用固定的、整理好的 5 样本示例（第 3.2 节）对 CF 使用规定的概率归一化（第 3.3 节）使用 MCF 和 CF 进行评估，使用最佳结果（第 3.4 节）遵循所有其他评估细节的建议（附录 A）表 4 报告了不同模型在流行的基准任务上的得分，这些得分遵循我们的评估标准 OLMES。
交大ADAPT实验室 | 常识知识论文列表
blmoistawinde的博客
11-16 1432
近年来，常识知识(commonsense knowledge)越发成为NLP领域，乃至多模态，跨学科的研究热点。尽管以BERT为代表的的预训练语言模型已经在实体识别、机器翻译、情感分析等任务上取得了亮眼的表现，它们在面对一些人类可以使用常识轻易解决的问题时仍然表现不佳，面对对抗样本时也极为脆弱。似乎这些模型知识只是学到了一些浅层线索和语义，而与人类的知识体系并不相同。因此，将常识知识融入机器学习中就成为了一个充满前景的解决方案。不过，如何抽取常识知识，如何利用常识知识，乃至如何定义“常识本身”依然是有待研究
论概念化在常识知识图构建中的作用（Commonsense Knowledge Graph）.pdf
03-09
我们引入CKG构造方法概念化，即将文本中提到的实体视为特定概念的实例，反之亦然。我们通过概念化来建立合成三元组，并进一步将其表示为三元分类，由一个从预训练语言模型中转移知识并通过负抽样进行微调的判别性模型来处理。实验结果表明，该方法能够有效地识别可能三元组，并将新节点和新边的KG值同时扩大三倍，具有较高的多样性和新颖性。
【论文笔记】在CommonsenseQA 上追平人类： 通过External Attention 增强 Self-Attention
elf1110的博客
04-06 1866
Human Parity on CommonsenseQA: Augmenting Self-Attention with External Attention 论文链接：https://www.microsoft.com/en-us/research/uploads/prod/2021/12/CSQA_KEAR.pdf Abstract 目前大多数都专注在self-attention 和Transformer架构来提升性能。 本文：使用外部attention机制来增强Transformer架构.
论文阅读--COSMIC: COmmonSense knowledge for eMotion Identification in Conversations
qishengmoming的博客
01-16 1572
COSMIC: COmmonSense knowledge for eMotion Identification in Conversations Deepanway Ghosal, Navonil Majumder, Alexander F. Gelbukh, Rada Mihalcea, Soujanya Poria:COSMIC: COmmonSense knowledge for eMotion Identification in Conversations. EMNLP (Findings) 20
推理？大语言模型能力测评
vastgrassland的博客
07-25 1505
大语言模型能做什么？能做多好？如何验证？接上一篇测评大语言模型的自然语言理解能力，这回把关注点放在大语言模型推理能力的测评上。看看大语言模型推理水平有多高，如何测试证实。本文同样基于十几位中美学者在7月6日发布的《大语言模型测评调查》研究报告（https://arxiv.org/pdf/2307.03109.pdf )展开。推理以及推论 Reasoning vsInference图：大语言模型通...
NLP 民工的乐园
热门推荐
somenzz的博客
09-25 1万+
今天在 GitHub 上看到一个非常受欢迎的仓库，33.7K。https://github.com/fighting41love/funNLP它几乎最全的中文 NLP 资源库，很多包非常有...
论文解读：Generated Knowledge Prompting for Commonsense Reasoning
NLPlunwenjiedu的博客
01-11 2501
论文解读：Generated Knowledge Prompting for Commonsense Reasoning
GNN IS A COUNTER REVISITING GNN FOR QUESTION ANSWERING
qq_43489708的博客
05-05 571
GNN IS A COUNTER? REVISITING GNN FOR QUESTION ANSWERING 这篇论文是在作者在读了QA-GNN Reasoning with Language Models and Knowledge Graphs之后，为了深入探究GNN 的推理功能，并对GNN进行剖析，找出GNN中真正对推理有作用的部分。 原文：GNN is a Counter? Revisiting GNN for Question Answering 文章目录GNN IS A COUNTER? RE
举一反三：示例增强的（example augmented）自然语言处理
zenRRan的博客
05-15 463
每天给你送来NLP技术干货！作者｜龚政机构｜中国人民大学方向｜自然语言处理来自|RUC AI Box引言近年来随着预训练技术的发展，通过在海量文本语料上进行预训练，模型已经在大多数自然语言处理任务上取得了卓越的性能。但是目前看来，参数量相对较小的模型还是很难将预训练语料中的知识充分的存储到自身参数当中。因此，除开当前被做的越来越大的预训练模型，另一部分研究工作关注于如...
RTA: A reinforcement learning-based temporal knowledge graph question answering model
最新发布
03-12
### 基于强化学习的时间知识图谱问答模型 RTA 的实现与应用 #### 时间知识图谱的重要性 时间知识图谱能够捕捉事件随时间的变化和发展，对于理解动态过程至关重要。通过构建包含时间维度的知识图谱，可以更精确地表示实体间的关系及其演变情况[^1]。 #### 强化学习的作用 利用强化学习算法来增强时间知识图谱问答系统的性能是一种有效的方法。该方法允许系统根据反馈不断调整自身的策略，在面对复杂查询时做出更加合理的决策。具体来说，强化学习可以帮助优化路径选择、关系预测以及答案生成等多个方面的工作流程。 #### 模型架构设计 为了有效地处理涉及时间因素的问题，RTA 模型通常会采用一种混合结构，即结合传统的神经网络组件（如LSTM 或 Transformer）用于编码输入序列中的时间和上下文信息，并引入基于Q-learning或者Policy Gradient的强化学习模块来进行下一步动作的选择和评估。这种组合不仅提高了对长期依赖性的建模能力，还增强了应对不确定性环境下的适应性和鲁棒性[^2]。 ```python import torch.nn as nn from transformers import BertModel, BertTokenizer class TimeQA(nn.Module): def __init__(self): super(TimeQA, self).__init__() self.bert = BertModel.from_pretrained('bert-base-uncased') def forward(self, input_ids, attention_mask=None): outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask) return outputs.last_hidden_state[:, 0, :] ``` 此代码片段展示了如何初始化一个简单的BERT模型作为时间感知问答的基础框架的一部分。实际的应用中还需要加入更多针对特定任务定制化的层和技术细节以完成整个RTA体系的设计[^3]。 #### 应用案例分析 在智能客服领域，RTA 可以为用户提供更为精准的历史订单追踪服务；医疗健康行业中，则可用于辅助医生回顾患者病史并提供个性化的治疗建议；金融风控部门也能借助此类技术更好地识别潜在风险信号，提前采取预防措施等。总之，随着应用场景日益多样化，基于强化学习的时间知识图谱问答模型将在众多行业发挥重要作用[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值