《论文阅读》BERT-ERC: Fine-tuning BERT is Enough for Emotion Recognition in Conversation

最新推荐文章于 2024-10-18 11:15:17 发布
最新推荐文章于 2024-10-18 11:15:17 发布
阅读量653 收藏
点赞数
分类专栏： 情感对话 文章标签： 论文阅读 bert 知识整理 ERC 对话情感识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44833392/article/details/129028471
版权
情感对话 专栏收录该内容
72 篇文章 59 订阅 ¥29.90 ¥99.00
订阅专栏
这篇论文提出了一种新的对话情感识别方法，通过微调BERT并结合Suggestive Text、Fine-grained Classification Module和Two-stage Training，改进了传统模型的局限性。作者指出，仅使用当前说话人的信息和位置感知特征可以更准确地捕捉情感状态。实验表明，这种范式在保留关键信息的同时，提高了模型性能。
摘要由CSDN通过智能技术生成

《论文阅读》BERT-ERC: Fine-tuning BERT is Enough for Emotion Recognition in Conversation

前言

你是否也对于理解论文存在困惑？

你是否也像我之前搜索论文解读，得到只是中文翻译的解读后感到失望？

小白如何从零读懂论文？和我一起来探索吧！

今天为大家带来的是《BERT-ERC: Fine-tuning BERT is Enough for Emotion Recognition in Conversation》

在这里插入图片描述

出版：AAAI

时间： 2023

类型：对话中的情感识别

特点：知识蒸馏+微调BERT

作者：Xiangyu Qin

第一作者机构：School of Intelligence Science and Technology, Peking University

简介

作者认为目前影响ERC的三种关键信息有：

1）Query utterance information

当前utterance

2）Contextu

了解本专栏 订阅专栏 解锁全文
365JHWZGo
关注
专栏目录
订阅专栏
《论文列表》情感对话论文持续更新中......
MyHeartWillGoOn
02-11 1589
你是否也对于理解论文存在困惑？你是否也像我之前搜索论文解读，得到只是中文翻译的解读后感到失望？亲身阅读感受分享，细节画图解释，再也不用担心看不懂论文啦~无抄袭，无复制，纯手工敲击键盘~下面是这个专栏所有文章的分类，下面来一起进行学习吧！
SUNET: Emotion Recognition in Conversations
02-27
SUNET: Speaker-utterance interaction Graph Neural Network for Emotion Recognition in Conversations
论文阅读--Exploiting Unsupervised Data for Emotion Recognition in Conversations
qishengmoming的博客
01-30 294
Exploiting Unsupervised Data for Emotion Recognition in Conversations Wenxiang Jiao, Michael R. Lyu, Irwin King: Exploiting Unsupervised Data for Emotion Recognition in Conversations. EMNLP (Findings) 2020: 4839-4846 Abstract 与句子级文本分类问题不同，ERC任务可用的监督数据有限，这
论文阅读汇总（3）-【篇数：50】
scu-liu的博客
05-27 1077
本人学习所有系列：汇总帖 这一篇文章作为精读/泛读论文的一个汇总贴。 开始新的100篇~ 1-50：1-50汇总 51-100：51-100汇总
【AI视野·今日NLP 自然语言处理论文速览 第三十九期】Fri, 22 Sep 2023
TomRen
09-23 845
AI视野·今日CS.NLP 自然语言处理论文速览 Fri, 22 Sep 2023 Totally 59 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models Authors Yukang Chen, Shengju Qian, Haotian Tang, Xin Lai, Zhijia
今日arXiv精选 | 31篇EMNLP 2021最新论文
Paper weekly
09-10 1432
关于#今日arXiv精选这是「AI 学术前沿」旗下的一档栏目，编辑将每日从 arXiv 中精选高质量论文，推送给读者。Analysis of Language Change in C...
ACL2022赶会必备，拿来即用之Abstract和Related Work
Paper weekly
10-17 1192
© 作者｜刘沛羽机构｜中国人民大学高瓴人工智能学院研究方向｜自然语言处理，模型压缩本文从ACL2021年发表的主会长文中整理出来了其中涉及的27个子领域的100篇文章，主要强调了摘要和相关...
BERT-QE:论文“BERT-QE”的代码和资源
05-31
BERT-QE 此 repo 包含该论文的代码和资源： 。 在ACL 的发现：EMNLP 2020 中。 介绍 BERT-QE 利用 BERT 的优势来选择相关的文档块进行查询扩展。 BERT-QE 模型由三个阶段组成，其中可以使用不同大小的 BERT 模型来...
Chinese-BERT-wwm：汉语BERT的全字掩蔽预训练（EnglishBERT-wwm系列模型）
02-03
为了进一步促进中文信息处理的研究发展，我们发布了基于全词遮罩（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及更多技术相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large，RBT3，RBTL...
bert-adv-embed:BERT词嵌入的对抗性扰动
05-27
BERT的对抗性嵌入 上基于BERT的情感分类对抗嵌入生成与分析。 建立在对Google Research之上。 IMDB加载器和处理器功能取自。 存储库还包括一种算法，用于投影对抗性嵌入内容以获得对抗性离散文本候选对象。 尽管该...
bert-chinese-ner：使用预训练语言模型BERT做中文NER
02-06
伯特·中国人 前言 ... python BERT_NER.py --data_dir=data/ --bert_config_file=checkpoint/bert_config.json --init_checkpoint=checkpoint/bert_model.ckpt --vocab_file=vocab.txt --output_d
深度生成模型文物修复--论文阅读笔记（导-6）
weixin_43899239的博客
10-18 1145
在空间中寻找相似模型填补，传统图像修复方法有三种：：即变分自动编码器（VAE）和生成对抗网络（GAN），能够通过依赖卷积神经网络（CNN）捕获复杂场景的非线性表示。加上适当的网络架构和目标函数，它们能够生成更多的语义感知的内绘制区域。
【论文阅读】Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting
最新发布
有时候，想要一块二向箔
10-18 734
作者在方法部分提出了一个多尺度的混合Mamba-Transformer架构，称为State Space Transformer（SST）。SST模型的核心思想是将时间序列分为长程全局模式和短程局部变化，分别由Mamba模型和Local Window Transformer（LWT）负责处理。为了实现这两者的有效结合，设计了一个长短期路由器来动态调整这两个专家模型的贡献。
【论文阅读】Detach and unite: A simple meta-transfer for few-shot learning
cainiaomyf的博客
10-17 423
小样本学习（Few-shot Learning, FSL）是一个具有挑战性的问题，旨在从有限的示例中学习并进行泛化。最近的研究采用了元学习和迁移学习策略的结合来解决 FSL 任务。这些方法执行预训练，并将学到的知识转移到元学习中。然而，这种迁移模式是否适当尚不明确，且这两种学习策略的目标尚未得到充分探讨。此外，FSL 中元学习的推理依赖于样本关系，而这些关系需要进一步考虑。在本文中，我们揭示了预训练与元学习策略之间一个被忽视的学习目标差异，并提出了一种简单但有效的小样本分类任务学习范式。
[论文阅读]Deep Depth Completion of a Single RGB-D Image
qq_41776136的博客
10-15 705
我们的工作目标是完成RGB-D图像的深度通道。商用级深度摄像头通常无法捕捉光滑、明亮、透明和远处表面的深度信息。为了解决这个问题，我们训练了一个深度网络，该网络以RGB图像作为输入，并预测稠密的表面法线和遮挡边界。然后，这些预测与RGB-D摄像头提供的原始深度观测数据结合起来，解决了包括原始观测中缺失像素在内的所有像素的深度问题。
论文阅读（十六）：Deep Residual Learning for Image Recognition
悟兰因的博客
10-16 1103
在ResNet网络提出之前，传统的卷积神经网络都是通过将一系列卷积层与下采样层进行堆叠得到的。梯度消失/梯度爆炸。退化问题。1.梯度消失/梯度爆炸：可通过数据预处理及在网络中使用BatchNormalizationBatch\;BatchNormalization来解决。2.退化问题（随着网络层数的加深，效果会变差，如上图所示）：本文提出了残差结构（ResidualBlockResidual\;
[论文笔记] llama3.2 蒸馏
心宝的博客
10-15 126
软标签蒸馏（Soft Label Distillation）用教师模型的输出类别logit值/输出概率p（软标签）指导学生模型学习。使用温度系数 T 调节概率平滑，采用KL散度作为损失函数。硬标签蒸馏（Hard Label Distillation）用教师模型的预测类别标签（硬标签）训练学生模型。直接用交叉熵损失函数，简单但信息量较少。特征蒸馏（Feature Distillation）学生模型通过对齐教师模型的中间层特征来学习。更丰富的语义信息，适用于计算机视觉任务。
【LLM之RAG】HybridRAG论文阅读笔记
<p>专注挖坑</p>
10-16 818
在上下文精度方面，GraphRAG表现最好，达到0.96，而HybridRAG的上下文召回率达到了1.0，这表明该方法能够有效结合结构化和非结构化数据，提供高质量的答案。现有的技术虽然在一些场景中有效，但在面对金融文档的复杂性时，往往无法处理文档的多样性和层次性。劣势：由于 HybridRAG 结合了多种上下文，有时可能会在生成答案时引入额外的、不必要的上下文信息，这会影响答案的精确度。意义：上下文精度指标用于衡量检索系统在前K个结果中的有效性，确保高精度的上下文片段被优先检索，从而提高生成答案的质量。
DAB-DETR: DYNAMIC ANCHOR BOXES ARE BETTER QUERIES FOR DETR论文笔记
Zssss12的博客
10-15 1021
在本文中，我们提出了一种新的查询公式，使用动态锚框进行DETR (DEtection TRansformer)，并对查询在DETR中的作用进行了更深入的理解。这个新公式直接使用框坐标作为 Transformer 解码器中的查询，并逐层动态更新它们。使用框坐标不仅有助于使用显式位置先验来改进查询到特征的相似性并消除 DETR 中缓慢的训练收敛问题，还允许我们使用框宽度和高度信息调制位置注意力图。这样的设计清楚地表明，DETR 中的查询可以实现为级联方式逐层执行软 ROI 池化。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

365JHWZGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值