《论文阅读》SAPBERT: Speaker-Aware Pretrained BERT for Emotion Recognition in Conversation

已于 2023-02-14 10:05:45 修改
阅读量501 收藏
点赞数 3
分类专栏： 情感对话 文章标签： 论文阅读 bert SAPBERT 预训练模型 ERC
于 2023-02-13 21:19:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44833392/article/details/129006773
版权
情感对话 专栏收录该内容
70 篇文章 55 订阅 ¥29.90 ¥99.00
订阅专栏

《论文阅读》SAPBERT: Speaker-Aware Pretrained BERT for Emotion Recognition in Conversation

前言

你是否也对于理解论文存在困惑？

你是否也像我之前搜索论文解读，得到只是中文翻译的解读后感到失望？

小白如何从零读懂论文？和我一起来探索吧！

今天为大家带来的是《SAPBERT: Speaker-Aware Pretrained BERT for Emotion Recognition in Conversation》

在这里插入图片描述

出版：mdpi Algorithms

时间： 2023

类型：对话中的情感识别

特点：turn 和 spearker 数量不受限制+多任务学习（speaker 预测、掩码、回复生成）

作者：Seunguook Lim and Jihie Kim

第一作者机构：Dongguk University Seoul

简介

思路出发点

下图为本文思路出发点，首先是情感捕获很难，具体难在情感说话人本身，有时我们的情感完全不受对方所干扰，但是有时却深受其影响

左图

了解本专栏 订阅专栏 解锁全文
365JHWZGo
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
订阅专栏
《论文阅读》EmoBERTa: Speaker-Aware Emotion Recognition in Conversation with RoBERTa
MyHeartWillGoOn
01-02 702
我们提出了EmoBERTa:Speaker AwareEmotion Recognition in Conversation with RoBERTa，这是一个解决ERC（会话中的情绪识别）任务的简单而富有表现力的方案。通过简单地在话语前面加上说话者的名字，并在对话中的话语之间插入分离标记，EmoBERTa可以学习说话者内部和说话者之间的状态和上下文，以端到端的方式预测当前说话者的情绪。我们的实验表明，我们使用基本和直接的方法，在两个主流的ERC数据集上达到了最新的水平。
ESprint: QoS-Aware Management for Effective Computational Sprinting in Data Centers
02-08
In the era of ’dark silicon’, modern data centers have to provision additional hardware resources to guarantee the Quality of Service (QoS) of applications in case of bursty workloads that typically...
【EL】Knowledge-Rich Self-Supervised Entity Linking 论文笔记
Vincy_King
01-09 638
1. Abstract 实体链接面临着重大的挑战，例如大量的变化和普遍的歧义，特别是在具有无数实体的高价值领域（所以本文从医疗领域出发）。标准的分类方法存在注释瓶颈，不能有效地处理看不见的实体。zero-shot实体链接已经成为泛化到新实体的一个有希望的方向，但它仍然需要在训练中提到黄金实体和所有实体的规范描述，这两种方法都在维基百科之外很少可用。 在本文中作文通过利用现成的领域知识来探索实体链接的知识环自我监督(KRISS)。在训练中，它使用领域本体在未标记文本上生成自我监督的mention示例，并使用对
SapBERT: Self-alignment pretraining for BERT的代码使用示例
Learning from the mistakes
02-10 307
【代码】SapBERT: Self-alignment pretraining for BERT的代码使用示例。
MedEdit: Model Editing for Medical Question Answering with External Knowledge Bases
weixin_43961909的博客
03-20 966
大语言模型（LLM）虽然在通用领域很强大，但在特定领域的任务（例如医学问答QA）上通常表现不佳。此外，它们往往充当“黑匣子”，使得改变它们的行为变得具有挑战性。为了解决这个问题，我们深入研究了利用情境学习的模型编辑，旨在提高LLM的反应，而无需进行微调或再培训。具体来说，我们提出了一种全面的检索策略，从外部知识库中提取医学事实，然后将它们合并到LLM的查询提示中。我们使用 MedQA-SMILE 数据集重点关注医学 QA，评估不同检索模型的影响以及向LLM提供的事实数量。
今晚7:30 | 罗切斯特大学张宋扬、英国剑桥大学刘方宇
AITIME_HY的博客
08-12 200
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！8月12日 19:30~20:30AI TIME特别邀请罗切斯特大学博士生——张宋扬、英国剑桥大学博士生——刘方宇，开启ACL第一...
复盘：基于attention的多任务多模态情绪情感识别，基于BERT实现文本情感分类（pytorch实战）
weixin_46838716的博客
08-13 4109
基于attention的多任务多模态实情绪情感识别
SD-sap是如何确定条件值的数值或者比例(KBERT)的?
SAP BLOG--Jack Wu
09-18 4412
SAP Note 791944: How is the KBETR determined in a subtotal?  对应Notes的内容摘抄如下：   This consulting note describes how the R/3 standard system determines the condition rate (XKOMV-KBETR) in a subtotal l
Fast, Effective, and Self-Supervised:Mirror-BERT
红酒暖心不暖胃
01-05 665
Fast, Effective, and Self-Supervised: Transforming Masked Language Models into Universal Lexical and Sentence Encoders 论文目的 没有经过特定任务微调的预训练MLMs对句子编码是无效的，本论文想基于自监督将MLMs在不引入新数据的前提下对句子编码。提出Mirror-BERT：简单、快速、有效，通过对字符串进行小的修改形成正样本进行微调，有些数据集上效果与sentence-bert可媲美 相关
SAP 后台表查询方法及消息报错定位方法
热门推荐
stuforever的博客
04-22 1万+
SAP 后台表查询方法及消息报错定位方法1 后台表查找方法1.1 方法1 业务理解加bing1.1.1 去SE16N查询时，输入*CEPC*就可以查看相关的表。1.1.2 或者检索DD02T表（存放元数据的表）1.1.3 常用模块简单表1.2 方法2 后台配置表查找方法1.3 方法3 用F1大法1.3.1 F1直接查出来是表1.3.2 F1直接查出来的是视图1.3.3 如果是结构，那么转下一步1.4 如果结构中是include，那么直接取include表1.5 如果字段在常用报表中，可以看报表逻辑对应
K-BERT详解
小岁月太着急
12-31 1万+
论文地址：https://arxiv.org/abs/1909.07606v1 项目地址：https://github.com/autoliuweijie/K-BERT 摘要 预训练的语言表示模型(如BERT)从大型语料库捕获一般的语言表示，但缺乏领域特定的知识。在阅读领域文本时，专家会利用相关知识进行推理。为了使机器能够实现这一功能，我们提出了一种基于知识图的支持知识的语言表示模型(K...
RFNet: Region-aware Fusion 论文
10-31
RFNet: Region-aware Fusion Network for Incomplete Multi-modal Brain Tumor Segmentation
ConceptBert: Concept-Aware Representation for Visual Question A
01-25
ConceptBert的原始论文由 François Gardères、Maryam Ziaeefard、Baptiste Abeloos 和 Freddy Lécué 共同完成，题为《ConceptBert: Concept-Aware Representation for Visual Question Answering》。
TrustGeo: Uncertainty-Aware Dynamic Graph Learning for Trustwort
02-19
提供了TrustGeo框架的原始PyTorch实现。
When Good Enough Is Better: Energy-Aware Scheduling for Multicore Servers
02-21
When Good Enough Is Better: Energy-Aware Scheduling for Multicore Servers
论文阅读 Explainable Image Similarity Integrating Siamese Networks and Grad-CAM
what_how_why2020的博客
06-03 724
给出论文（Explainable Image Similarity Integrating Siamese Networks and Grad-CAM）的内容解读、代码运行说明。
U-Net: Convolutional Networks for Biomedical Image Segmentation--论文笔记
dezwb的博客
06-04 953
人们普遍认为，深度网络的成功训练需要数千个带注释的训练样本。在本文中，我们提出了一种网络和训练策略，该策略依赖于数据增强的强大使用，以更有效地使用可用的注释样本。该体系结构包括捕获上下文的收缩路径和支持精确定位的对称扩展路径。我们表明，这样的网络可以从很少的图像中进行端到端训练，并且在ISBI挑战中优于先前的最佳方法(滑动窗口卷积网络)，以分割电子显微镜堆栈中的神经元结构。使用在透射光显微镜图像(相位对比和DIC)上训练的相同网络，我们在这些类别中以很大的优势赢得了2015年ISBI细胞跟踪挑战赛。
[论文阅读] ZeRo
天下月色共三分的博客
06-04 323
zero主要用于数据并行对于大模型来说，内存主要用来保存模型状态，主要有半精度训练：模型某层的w，和层的输入输出，都使用fp16例如，Wx = y ，这三者都是fp16但是有一个问题，fp16通常精度不够，加着加着就炸了，或者，太小的情况一直加都是0。这个情况在累积权重（不断把梯度的东西加进来）的时候会出现，所以如果权重也是fp16的话，可能加半天都加不动。所以权重更新使用fp32，也即是权重还有一个fp32的copy，作梯度更新的时候使用fp32，然后转成fp16，再参与前向后向计算。
[论文笔记]Mixtral of Experts
最新发布
日积月累，天道酬勤
06-05 871
⭐ 作者提出了Mixtral-8x7B，是一种稀疏的混合专家模型，通过门控机制来选择专家(MoE层)，每个时间步只激活少量的专家，可以加快推理计算，但实际上要存储所有的参数所需的资源也是不少的。
ea-net:: edge-aware network for brain structure segmentation via decoupled h
09-20
ea-net是一种通过分离式h实现的脑结构分割的边缘感知网络。脑结构分割是医学图像分析中的重要任务，它可以帮助医生快速、准确地识别出脑的各个结构，为疾病诊断和治疗提供依据。 ea-net采用了一种先进的神经网络结构，可以有效地处理医学图像的边缘信息。通过学习图像的边缘特征，ea-net能够识别出图像中不同脑结构的轮廓，并将其分割出来。与传统方法相比，ea-net具有更好的鲁棒性和准确性。 而这种边缘感知网络的关键之处在于其采用了分离式h。h在ea-net中起到了重要的作用，它是一个副任务，主要负责边缘信息的提取和学习。通过分离h和主任务网络，ea-net可以将边缘信息和主任务信息有效地解耦，从而提高了网络的性能。 通过训练，ea-net可以学习到大量的脑结构特征，并能够根据这些特征对图像进行准确的分割。同时，ea-net还能够适应不同的脑结构分割任务，并具有很强的泛化能力。 总而言之，ea-net是一种利用分离式h实现的边缘感知网络，用于脑结构分割任务。它通过学习图像的边缘信息，能够准确地分割出不同的脑结构，为医学图像分析和疾病诊断提供了重要的帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

365JHWZGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值