NLP数据集：GLUE【CoLA（单句子分类）、SST-2（情感二分类）、MRPC、STS-B、QQP、MNLI、QNLI、RTE、WNLI】【知名模型都会在此基准上进行测试】

已于 2022-03-25 22:15:07 修改
阅读量5.1k 收藏 15
点赞数 3
分类专栏： 数据集 文章标签： 人工智能 GLUE 数据集
于 2022-03-19 10:47:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/123590362
版权
GLUE是一个用于自然语言理解的多任务基准，包含9个任务，如CoLA、SST-2、MRPC等。CoLA评估句子的语法合宜性，SST-2处理电影评论的情感分析。每个任务都有特定的评价标准，如Matthews相关系数或准确率。GLUE提供了一个平台来测试和比较NLU模型的性能。
摘要由CSDN通过智能技术生成

GLUE的论文为：GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding

GLUE的官网为：gluebenchmark.com/

本文的目的在于针对GLUE的九个任务分别做一个相对详细的说明，给出一些样例，有一个相对整体确切的感受，同时提供一个可以方便下载GLUE数据集的链接，供读者使用。

在这里插入图片描述

一、任务介绍

GLUE共有九个任务，分别是CoLA、SST-2、MRPC、STS-B、QQP、MNLI、QNLI、RTE、WNLI。如下图图2所示，可以分为三类，分别是单句任务，相似性和释义任务，

GLUE九大任务的描述和统计。所有任务都是单句或者句子对分类，除了STS-B是一个回归任务。MNLI有3个类别，所有其他分类任务都是2个类别。测试集中加粗的表示测试集中标签从未在公共论坛等场所展示过
在这里插入图片描述

1、CoLA

CoLA(The Corpus of Linguistic Acceptability，语言可接受性语料库)，单句子分类任务，语料来自语言理论的书籍和期刊，每个句子被标注为是否合乎语法的单词序列。本任务是一个二分类任务，标签共两个，分别是0和1，其中0表示不合乎语法，1表示合乎语法。

样本个数：训练集8, 551个，开发集1, 043个，测试集1, 063个。

任务：可接受程度，合乎语法与不合乎语法二分类。

评价准则：Matthews correlation coefficient。

标签为1（合乎语法）的样例：

  • She is proud.
  • she is the mother.
  • John thinks Mary left.
  • Yes, she did.
  • Will John not go to school?
  • Mary noticed John’s excessive appreciation of himself.

标签为0（不合语法）的样例：

  • Mary sent.
  • Yes, she used.
  • Mary wonders for Bill to come.
  • They are intense of Bill.
  • Mary thinks whether Bill will come.
  • Mary noticed John’s excessive appreciation of herself.

注意到，这里面的句子看起来不是很长，有些错误是性别不符，有些是缺词、少词，有些是加s不加s的情况，各种语法错误。但我也注意到，有一些看起来错误并没有那么严重，甚至在某些情况还是可以说的通的。

2、SST-2

SST-2(The Stanford Sentiment Treebank，斯坦福情感树库)，单句子分类任务，包含电影评论中的句子和它们情感的人类注释。这项任务是给定句子的情感，类别分为两类正面情感（positive，样本标签对应为1）和负面情感（negative，样本标签对应为0），并且只用句子级别的标签。也就是，本任务也是一个二分类任务，针对句子级别，分为正面和负面情感。

样本个数：训练集67, 350个，开发集873个，测试集1, 821个。

任务：情感分类，正面情感和负面情感二分类。

评价准则：accuracy。

标签为1（正面情感，positive）的样例：

  • two central performances
  • against shimmering cinematography that lends the setting the ethereal beauty of an asian landscape painting
  • the situation in a well-balanced fashion
  • a better movie
  • at achieving the modest , crowd-pleasing goals it sets for itself
  • a patient viewer

标签为0（负面情感，negative）的样例：

  • a transparently hypocritical work that feels as though it 's trying to set the women 's liberation movement back 20 years
  • so pat it makes your teeth hurt
  • blood work is laughable in the solemnity with which it tries to pump life into overworked elements from eastwood 's dirty harry period .
  • faced with the possibility that her life is meaningless , vapid and devoid of substance , in a movie that is definitely meaningless , vapid and devoid of substance
  • monotone
  • this new jangle of noise , mayhem and stupidity must be a serious contender for the title .

注意到，由于句子来源于电影评论，又有它们情感的人类注释，不同于CoLA的整体偏短，有些句子很长，有些句子很短，长短并不整齐划一。

参考资料：
GLUE基准数据集介绍及下载
https://gluebenchmark.com/tasks

u013250861
关注
专栏目录
【详解】NLP之常用数据集详解
LeeZhao的博客
06-24 9126
GLUE数据集合的介绍: 自然语言处理（NLP）主要自然语言理解（NLU）和自然语言生成（NLG）。GLUE（General Language Understanding Evaluation）由纽约大学, 华盛顿大学, Google联合推出, 涵盖不同NLP任务类型, 截止至2020年1月其中包括11个子任务数据集, 成为衡量NLP研究发展的衡量标准. GLUE九项任务涉及到自然语言推断、文本蕴含、情感分析、语义相似等多个任务。像BERT、XLNet、RoBERTa、ERINE、T5等知名模型都会在此基
SST2的数据集，哈哈
11-24
情感分析数据集，从上文对text-cnn模型的介绍，想必读者对该模型已经有了初步的理解了。趁热打铁，我们将利用Keras搭建该模型并对imdb数据集进行情感分析。由于数据集预处理部分上一篇文章已经讲解，在此将不再叙述。
NLP:微调BERT进行文本分类
读万卷书 行万里路
09-13 819
本篇博客的重点在于BERT的使用。transformers包版本：4.44.2。
sst-2 dataset - sst-2 数据集
03-26
SST-2（Stanford Sentiment Treebank）是一个用于情感分析的标记数据集，由斯坦福大学的研究人员创建。该数据集的主要目的是为了帮助研究人员和开发者训练和评估情感分析模型。SST-2包含由电影评论组成的句子，每个句子都被标记为正面的（positive）或负面的（negative）情感。这些句子来自于电影评论网站Rotten Tomatoes。 SST-2数据集的特点包括： 1. **二分类标记**：每个句子被标记为正面或负面情感，使其成为一个二分类问题。 2. **层级结构**：SST-2数据集不仅包含句子级别的标记，还包含了句子结构的标记。每个句子都被映射到一棵语法树中，这棵树表示了句子的结构。这种结构化表示使得该数据集对于探索句子结构和语法在情感分析中的作用具有额外的价值。 3. **数据来源**：SST-2数据集的句子是从Rotten Tomatoes网站上提取的电影评论中获取的，这些评论包括观众对电影的评价和看法。 SST-2数据集的应用领域包括但不限于： - 情感分析模型的训练和评估 - 研究句子结构和语法在情感分析中的作用 - 自然语言处
SST-2 数据集 - 情感分析标记数据集
最新发布
gitblog_09723的博客
10-15 676
SST-2 数据集 - 情感分析标记数据集 【下载地址】SST-2数据集-情感分析标记数据集 SST-2（Stanford Sentiment Treebank）是一个用于情感分析的标记数据集，由斯坦福大学的研究人员创建。该数据集的主要目的是为了帮助研究人员和开发者训练和评估情感分析模型。SST-2包含由电影评论组成的句...
Bert—SST-2
xuan100e的博客
08-04 4533
数据集:搜狗新闻 https://www.sogou.com/labs/resource/ca.php 论文地址:https://arxiv.org/abs/1810.04805 github(pytorch): https://github.com/huggingface/pytorch-transformers github(tensorflow): https://github.com/g...
imdb、SST-1、SST-2、yelp-2013、yelp-2014 文本分类数据集
04-10
imdb、SST-1、SST-2、yelp-2013、yelp-2014 文本分类数据集 https://github.com/JerrikEph/Capsule4TextClassification/blob/master/data/downloadDataset.md
bert测试数据集GLUE("CoLA", "SST", "MRPC"等)
06-30
2. SST（Stanford Sentiment Treebank）：这是一个二分类和五分类的情感分析任务，用于评估模型对电影评论情感极性的判断。 3. MRPC（Microsoft Research Paraphrase Corpus）：这个任务要求模型识别两个句子是否...
NLP - glue 数据集
04-12
自然语言处理（NLP）是计算机科学领域的一个重要分支，专注于理解和生成人类语言。随着人工智能（AI）的发展，NLP已经成为研究和应用的热点，广泛应用于机器翻译、情感分析、问答系统、聊天机器人等多个场景。NLP的...
GLUE数据集GLUE数据集
05-23
GLUE（General Language Understanding Evaluation）数据集是自然语言处理领域的一个重要资源，旨在评估模型在理解和生成人类语言方面的性能。这个数据集包含了多种任务，涵盖了广泛的语言理解挑战，包括语义相似度...
AI 的测试：模型的基准测试
Criss@陈磊
08-22 573
在评估一个模型的时候，仅通过ROUGE、BLEU SCORE评价模型还是太单薄了，并不能全面的反馈模型的能力。在相完整评估一个模型的能力的时候，最重要的是提供一套有效的评估模型。现在常见的模型的基准测试有 GLUE、SuperGLUE、HELM、MMLU等等。
SST-2-20231016T061428Z-001数据集
12-02
SST-2（Stanford Sentiment Treebank，斯坦福情感树库）是一个二元单句分类任务的数据集，由电影评论中提取的句子组成。这个任务的目标是区分正面情感和负面情感，是情感分析领域中一个重要的基准数据集。 SST-2数据集中的每个句子都由人工进行了标注，标注为正面或负面情感。这个数据集的样本数量相对较大，包括训练集、开发集和测试集，有助于对模型进行充分的训练和测试。 在SST-2数据集上，情感分类的评估指标主要是准确率（accuracy）和F1值。由于数据集中的类别不平衡，准确率可能会产生偏差，因此F1值也被广泛使用。此外，SST-2数据集还可以用于研究情感词典的构建和其他相关任务。 SST-2数据集的应用场景包括：情感分类：通过训练和测试情感分类器模型，对电影评论中的句子进行正面或负面情感的分类。情感词典构建：利用SST-2数据集中标注的情感标签，研究人员可以构建情感词典，对文本进行情感分析。情感分析研究：SST-2数据集还可以用于研究情感分析的其他相关任务，如情感极性检测、情感词典的优化等。
实现基于深度学习的文本分类任务，采用sst2数据集，
09-22
网络模型采用基本的lstm和rnn模型，并再次基础上引入bert的预训练embedding层以及attention来进行优化。本次文本分类任务完整的流程包括：库导入、数据集处理与加载、网络模型的构建、损失函数和优化器、训练….zip深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
sst数据，nc读取RSS TMI, AMSR-E, AMSR2
02-17
We include SST in the RSS satellite gridded binary data files for TMI, AMSR-E, AMSR2, WindSat, and GMI. These SST are not diurnally corrected and represent the value at the time provided in the file. More data access information is available on the mission description pages. The table below shows the period of operation for each instrument.
打分类型数据集 STS-B 中文数据集
07-22
英文打分数据集STS-B的部分中文翻译
stsb-multi-mt:机器翻译的多语言STS基准数据集
03-20
STSb多MT 机器翻译的多语言STS基准数据集。 这是的多语言翻译。翻译已经通过完成。 它可以用来训练例如 。
NLP：自然语言处理常用任务简介(七大任务/两大层次(顶层5种+底层4种)/LLMs四大类)、GLUE基准(通用语言理解评估，四类九个)和SuperGLUE基准的简介(国内系列/国际系列)使用方法之详
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
02-10 4152
​ NLP：自然语言处理常用任务简介(七大任务/两大层次(顶层5种+底层4种)/LLMs四大类)、GLUE基准(通用语言理解评估，四类九个)和SuperGLUE基准的简介(国内系列/国际系列)使用方法之详细攻略 目录 自然语言处理技术常用任务 国内系列——中文语言理解测评基准(CLUE)的简介 国际系列——GLUE和SuperGLUE基准的简介 GLUE和SuperGLUE基准的具体任务 自然语言处理技术常用任务 NLP：自然语言技术领域相关任务分类—七大任务(
GLUE 基准介绍
arvinChen的博客
07-20 816
glue
[nlp] 通用语言理解评估 ( GLUE ) 基准
心宝的博客
05-22 801
通用语言理解评估 (GLUE) 基准是九个自然语言理解任务的集合，包括单句任务 CoLA 和 SST-2，相似性和释义任务 MRPC、STS-B 和 QQP，以及自然语言推理任务 MNLI、QNLI、 RTE 和 WNLI。
cola、sst-2、mrpc
11-09
cola、sst-2和mrpc都是自然语言处理（NLP）中常用的数据集。 cola代表的是Language Understanding Evaluation（LUKE）的共同事业片中的句子相似度任务（STS）。在这个任务中，我们需要判断两个句子之间的相似性。该数据集由句子配对组成，每个句子配对都有一个二进制标签，表示两个句子是否具有相似的语义。我们可以使用这个数据集来开发和评估句子相似度模型。 sst-2代表的是斯坦福树库（Stanford Sentiment Treebank）的二分类情感分类任务。在这个任务中，我们需要将一个句子分类为积极的（positive）还是消极的（negative）。这个数据集包含了大量的电影评论，每个评论都有一个情感标签。sst-2是一个常用的情感分类数据集，适用于训练和评估情感分类模型。 mrpc代表的是微软研究院发布的Microsoft Research Paraphrase Corpus。在这个任务中，我们需要判断两个句子是否是近义词（也称为“改写”或“释义”）。该数据集由句子配对组成，每个配对都有一个二进制标签，表示两个句子是否具有相似的语义。mrpc是一个常用的句子相似度数据集，适用于训练和评估句子相似度模型。 这三个数据集在NLP研究和应用中被广泛使用，可以帮助开发者和研究人员评估各种NLP模型的性能。通过在这些数据集上进行训练和测试，我们可以获得各种任务上的准确性、召回率和F1分数等指标，进而改进和优化NLP模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值