ACL 2023 | 利用思维链(CoT)推理隐式情感,狂涨50%

这篇论文介绍了在隐式情感分析中,通过思维链(CoT)方法提升50% F1值的成果。研究针对不含显式情感特征的文本,利用LLMs的常识和多跳推理能力,提出三跳推理框架THOR,通过逐步揭示上下文和隐含信息,改善隐式情感分析的准确性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

8914c8139231510331f1d3cc70026751.gif

©PaperWeekly 原创 · 作者 | 费豪

单位 | 新加坡国立大学

029a2e918f2a0b10a7df3b6b9f997fdc.png

题目:

Reasoning Implicit Sentiment with Chain-of-Thought Prompting

作者:

费豪¹,李波波²,刘乾³,邴立东⁴,李霏²,Chua Tat-Seng¹

新加坡国立大学¹,武汉大学²,Sea AI Lab³,阿里巴巴达摩院⁴

会议:

ACL 2023

论文:

https://arxiv.org/abs/2305.11255

代码:

https://github.com/scofield7419/THOR-ISA

本工作极简概括:在隐式情感分析场景中,由于不包含显式的情感相关特征词,现有的情感分类模型在该场景下都严重失效。受启发于人的隐式情感解题模式,本文提出利用思维链(Chain of Thought, CoT)方法来链式推理出隐式情感,在 Zero-shot 设定下提升 50% F1 值。

c25589c4507b71a58f4cc2c479653abd.png

动机介绍

1.1 任务背景

情感分析(Sentiment Analysis, SA)是自然语言处理领域一个较为火热的研究方向,该任务旨在检测输入文本中对给定目标的情感极性。经过十多年的高速发展,情感分析课题下目前已产生了很多类型的子任务和主题。其中,根据情感特征词是否给定,情感分析又可分为显式情感分析(Explicit SA,ESA)和隐式情感分析(Implicit SA,ISA)。

前者 ESA 是当前主流的分析场景,其中情感相关的表述词在文本中是明确存在的。而与 ESA 不同,ISA 更具挑战性,因为在 ISA 中,输入文本只包含几乎类似于“中性的”事实描述,没有明确的观点态度表达会直接给出。例如,给定一个句子“快去尝尝淄博的烧烤吧!”,句子中不会出现任何显式的情感线索词。

目前几乎所有的情感分析模型的工作原理基本都是面向“特征词”的预测(rationale-oriented prediction),即必须要找准情感特征词(要么人工帮助提取要么机器自动学习)才能准确得到预测。然而对于这种隐式情感场景,由于不包含任何显式关键特征词,现有方法的性能都会快速失效。所以对于关于“淄博的烧烤”这个目标的预测,几乎目前市面上现有的情感分类模型会输出为中性的极性。

实际上对于我们人类而言,即便再困难、再隐含的 ISA,我们都可以轻而易举地确定其所对应的情感极性,原因在于我们总是能够抓住文本背后的真实意图或观点。因此,传统的情感分析方法对于隐式情感的处理往往是无效的,因为它们并没有真正理解其情感是如何引发的。

1.2 现象分析

不妨分析一下我们人类对于 ISA 的解题模式。在这个过程中有两个比较关键的现象:

  • 首先,我们大概率会根据所给定的上下文,进一步发掘更多的信息,以消除更多的不确定性。比如,我们会调用自己的常识知识库来快速确定给定文本中所提到的关键信息到底在谈论什么内容。比如得确定“淄

### 大模型预训练中的思维 (Chain of Thought, CoT) 技术原理及应用 #### 定义与基本概念 思维是指大型语言模型在处理复杂任务时所采用的一系列中间推理步骤。这些步骤旨在模仿人类解决问题的方,通过逐步分解问题来达到最终解决方案[^2]。 #### 工作机制 当引入思维提示(prompting)方法时,可以激发大语言模型展示出更接近于逻辑思考的能力。具体来说,在给定一个问题之后,不是直接给出答案而是先描述如何一步步推导出这个结论的过程。这种方法能够帮助模型更好地理解上下文并提高其解决未见过的新颖问题的能力[^1]。 #### 应用场景 - **零样本学习(Zero-shot CoT)**: 即使从未接受过特定类型的输入数据训练,也能利用已有的知识库来进行合理猜测。 - **少样本学习(Few-shot CoT)**: 只需少量样例即可让模型学会新技能或适应新的领域环境。 这两种方都依赖于强大的泛化能力和迁移能力,使得即使面对全新的挑战也可以快速调整策略找到合适的解答路径。 然而值得注意的是,目前这种技术主要适用于参数量非常庞大的模型(通常超过十亿),因为只有这样的规模才能支持足够复杂的内部表示从而实现有效的多步推理过程。 ```python def chain_of_thought(prompt): """ 模拟简单的思维示例函数 参数: prompt -- 输入的问题字符串 返回值: result -- 经过多轮次细化后的最终答案列表 """ # 假设这里有一个预先训练好的LLM实例 llm_model intermediate_steps = ["Step 1", "Step 2"] # 这里应该是动态生成的具体推理步骤 final_answer = "Final Answer" return {"intermediate_steps": intermediate_steps, "final_answer": final_answer} ``` 尽管如此,现有研究还表明存在一些局限性:一方面难以确认模型是否真正掌握了背后的因果关系;另一方面构建高质量的手动标注思维条成本极高且效率低下。因此对于何时何地最适合运用CoT仍然需要更多的探索和实践检验。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值