智能情感推理：融合多任务学习的大模型应用

最新推荐文章于 2025-04-16 10:23:29 发布

小天才学习机打游戏

最新推荐文章于 2025-04-16 10:23:29 发布

阅读量984

点赞数 17

文章标签：学习人工智能剪枝算法面试 prompt

本文链接：https://blog.csdn.net/m0_59164520/article/details/144477793

版权

隐性情绪分析（ISA）是情感分析领域的一项重要研究方向，目标是通过分析文本中隐含的情感信息，从而更全面地理解用户的情感状态。与显性情绪分析不同，ISA需要从没有明显情感词的表达中推断出潜在的情感，这对自然语言处理技术提出了更高的要求。近年来，随着大模型（LLMs）的快速发展，研究人员发现将多任务学习（MTL）与LLMs结合，可以显著提高ISA的准确性和鲁棒性。

ISA面临的主要挑战在于缺乏显著的情感提示词，使得传统方法难以推断出潜在的情感信息。以往的方法由于数据不足和推理能力有限，难以在隐性情绪分析中取得令人满意的效果。为了克服这些困难，研究人员尝试通过增强特征表示、数据增强和深度学习技术等手段来提高ISA的性能。但是这些方法仍然存在不足，无法完全解决隐性情绪分析的核心问题。

多任务学习（MTL）是一种通过共享多个相关任务的信息来提高模型泛化能力的方法。在自然语言处理（NLP）领域，MTL已经在信息抽取、自然语言理解和生成等任务中取得了显著成效。将MTL与大模型（LLMs）相结合，可以更好地利用LLMs在生成和理解自然语言方面的优势，从而提高隐性情绪分析的效果。由香港岭南大学和香港理工大学的组成的研究团队使用MTL框架MT-ISA利用生成性LLMs构建辅助任务，通过自动MTL动态调整数据级和任务级权重，使不同规模的模型能够自适应地学习细化权重。该方法不仅可以显著提高ISA的性能，还能有效处理LLMs生成的上下文信息的不确定性，实现可靠的情感推理。12 月 13 日，他们的论文《Multi-Task Learning with LLMs for Implicit Sentiment Analysis: Data-level and Task-level Automatic Weight Learning》发表于arXiv平台（论文地址：https://arxiv.org/pdf/2412.09046）。

本研究由香港岭南大学的数据科学学院和香港理工大学的计算系联合开展，并得到了岭南大学教师研究资助（DB24A4）的支持。研究团队有来自香港理工大学计算系的Wenna Lai，来自香港岭南大学数据科学学院的Haoran Xie，来自悉尼科技大学计算机科学学院和数据科学研究所的Guandong Xu和来自香港理工大学计算系Qing Li。他们的研究目标是通过结合多任务学习和大模型，解决隐性情绪分析中的关键挑战，提出一个新颖的MTL框架MT-ISA，以提高ISA的性能和适应性。

相关工作

隐性情绪分析（ISA）在情感分析领域是一项复杂而具有挑战性的任务。传统的情感分析依赖于显性情感词汇，而ISA需要从没有明显情感提示词的文本中推断出潜在的情感。早期的ISA研究主要集中在增强句子层面的特征表示，通过更丰富的特征捕捉隐含的情感信息。然而单纯依赖特征增强的方法常常无法应对复杂的隐性情绪表达，研究人员开始探索通过数据增强和深度学习技术来提升ISA的性能。

在ISA的早期研究中，研究者试图通过增强特征表示来应对隐性情绪的挑战。例如，通过改进情感词典和语义分析技术，以期更准确地识别情感元素。然而，这些方法受到数据不足和特征表示能力的限制，未能显著提高ISA的效果。

图1：这些例子说明了ABSA中的显式（左）和隐式（右）案例。LLM有助于补充ISA中的情感元素。

为了克服传统方法的局限性，研究人员开始尝试增强句子层面的特征表示，利用更复杂的语义和句法分析技术。这些方法包括使用预训练语言模型（PLMs）如BERT，通过其卓越的特征表示能力来改进ISA。然而，尽管PLMs在特征表示方面表现出色，但在处理隐性情绪时仍然面临数据不足和推理能力有限的问题。

随着深度学习技术的发展，研究人员尝试通过数据增强和先进的深度学习方法来改进ISA的性能。例如，采用对比学习、图学习和因果干预等技术，试图从更广泛的数据中挖掘隐性情绪关系。尽管这些方法在一定程度上提高了ISA的性能，但仍然需要进一步改进以应对复杂的情感推理任务。

在多任务学习（MTL）方面，MTL通过共享多个相关任务的信息来增强模型的泛化能力。这种方法在自然语言处理（NLP）中的许多应用中表现出色，包括信息抽取、自然语言理解和生成等任务。MTL的关键优势在于通过共享不同任务的知识，可以更有效地利用数据，提升模型的学习效果。

MTL通过共享多个任务之间的表示和参数，提高模型在多个任务上的表现。例如，在情感分析任务中，MTL可以同时学习情感极性分类和情感元素提取，从而利用两个任务之间的互补信息，提升整体性能。这种共享信息的方法不仅提高了模型的泛化能力，还能更好地应对数据稀疏和不确定性问题。

MTL在NLP中的应用非常广泛，包括但不限于情感分析、信息抽取、文本分类和机器翻译等任务。通过在多个相关任务上进行联合学习，MTL可以利用任务之间的相关性，提高模型的整体性能。例如，在情感分析任务中，MTL可以同时进行情感极性分类和情感元素提取，从而提高情感分析的准确性和鲁棒性。

MT-ISA框架

MT-ISA框架通过结合多任务学习（MTL）和大模型（LLMs），旨在解决隐性情绪分析（ISA）中的关键挑战。该框架利用生成性LLMs的生成和推理能力，自动调整不同任务之间的权重，以实现更精准的情感推断。MT-ISA通过构建辅助任务，增强模型对隐性情绪的感知和识别能力，同时通过数据级和任务级的自动权重学习（AWL），动态管理数据和任务的不确定性。

图2：提出的多任务学习框架MT-ISA概述。主要任务是从给定的数据集中推断极性。辅助任务由LLM生成构建，使用极性干预的自我精炼策略来指导相关情感元素的生成，包括方面和观点。骨干模型使用具有自动权重学习（AWL）的多任务学习进行训练，同时考虑数据级AWL的辅助数据置信度和任务级AWL中的同方差不确定性（即任务级不确定性），以获得细粒度权重并实现最佳学习性能。

在MT-ISA框架中，核心思想是通过生成性LLMs构建辅助任务，这些任务补充了情感分析中的关键元素，如方面和意见，从而形成完整的情感图景。这些辅助任务不仅提高了情感推理的深度和广度，还通过自动权重学习，自适应地调整不同任务的重要性和关注度。

在MT-ISA框架中，隐性情绪分析的主要任务是推断给定输入文本中的隐性情感极性。具体来说，ISA的目标是从输入句子中推断出目标方面的情感极性。为实现这一目标，MT-ISA构建了多个辅助任务，如生成方面和意见的任务，利用这些辅助任务来补充情感元素，增强情感推理的能力。

为了更好地处理ISA的复杂性，MT-ISA框架通过数据级和任务级的自动权重学习，动态调整不同任务的权重和重要性，从而实现精细化的情感推断。这种动态调整的能力，使得MT-ISA可以在不同规模的模型中适应性地应用，并取得最佳的性能。

辅助任务构建

MT-ISA框架利用生成性LLMs来构建辅助任务，这些任务通过生成和推理情感元素，补充情感分析中的关键信息。具体来说，MT-ISA使用生成性LLMs来生成辅助数据，如方面和意见，这些数据对情感极性的推断具有重要的参考价值。

生成性LLMs在辅助任务中的应用，不仅提升了情感元素的生成质量，还通过自我改进策略，使生成的内容与实际情感更加一致。这种生成和推理能力，使得MT-ISA能够更好地捕捉隐性情绪的复杂性，形成完整的情感图景。

在MT-ISA框架中，辅助数据的生成过程如下：首先，利用生成性LLMs生成初始的情感元素（如方面和意见），然后通过自我改进策略，逐步调整生成的内容，使其与实际情感更加一致。在这个过程中，每次生成后的内容会作为下一次生成的参考，从而不断优化生成的结果。

这种生成过程不仅提高了情感元素的准确性，还通过置信度评分来反映数据级的不确定性。这种动态生成和调整的机制，使得MT-ISA能够在复杂的情感分析任务中，提供可靠的情感元素，增强整体的情感推理能力。

自动权重学习

在MT-ISA框架中，数据级自动权重学习（D-AWL）通过动态调整输入数据的权重，使模型能够优先关注更可靠的数据实例，从而提高整体的学习效果。具体来说，D-AWL策略根据置信度评分，对输入数据进行加权，调整特征表示和损失函数，使模型能够更好地管理不确定性和噪声数据。

输入策略（I）：通过置信度评分调整输入嵌入的权重，直接影响输入到主干模型的特征表示。这样可以使模型在训练过程中，更关注高置信度的输入数据，提高特征表示的可靠性。

输出策略（O）：通过置信度评分调整输出损失的权重，在优化过程中，更多地关注高置信度的数据实例。这样可以在模型训练中，优先优化高置信度的数据，提高整体的预测准确性。

输入-输出策略（I-O）：结合输入和输出策略，同时调整输入嵌入和输出损失的权重。通过这种方式，可以在模型训练中，更全面地考虑数据的不确定性，提高整体的学习效果。

任务级自动权重学习（T-AWL）通过引入同方差不确定性（homoscedastic uncertainty），动态调整不同任务之间的权重，以实现多任务学习的最佳效果。具体来说，T-AWL通过自动损失函数（ALF），在训练过程中，动态调整任务的权重，使模型能够自适应地学习细化权重，提高整体的学习性能。

同方差不确定性是一种任务级的不确定性，反映了不同任务之间的相对置信度。在MT-ISA框架中，通过引入同方差不确定性，可以动态调整不同任务的权重，使模型在多任务学习中，能够更好地平衡各个任务的重要性，从而提高整体的学习效果。

自动损失函数（ALF）通过引入同方差不确定性，动态调整多任务学习中的任务权重。具体来说，ALF在损失函数中，加入了任务级的不确定性参数，通过动态调整这些参数，使得模型在训练过程中，能够自适应地学习细化的任务权重，从而实现最佳的学习效果。

实验设置与结果

在这部分中，研究团队详细展示实验数据集与评估指标、基线方法比较、消融研究、案例研究以及数据级自动权重学习策略比较。这些部分将帮助研究团队全面了解MT-ISA框架在隐性情绪分析中的性能表现。

实验数据集与评估指标

为了评估MT-ISA框架在隐性情绪分析（ISA）中的性能，研究团队采用了SemEval-2014餐厅和笔记本电脑数据集。这些数据集包含了大量的情感标注数据，适用于情感分析研究。研究团队将数据集分为隐性和显性类，进行更细粒度的分析。评估指标包括准确性和宏F1分数，这些指标能够全面反映模型的性能。

图3：比较不同D-AWL策略的性能，包括输入（I）、输出（O）和输入输出（I-O）策略。该指标使用隐式数据集的准确性。

为了验证MT-ISA框架的有效性，研究团队将其与多个基线方法进行了比较，包括ABSA基线、基于提示的微调方法和多任务学习（MTL）方法。

ABSA基线：ABSA（Aspect-Based Sentiment Analysis）基线方法主要通过预训练语言模型（PLMs）如BERT，直接进行句子对分类、数据增强和依赖关系嵌入等操作。这些方法在显性情感分析中表现出色，但在隐性情感分析中仍存在不足。

这些方法通过对预训练模型进行提示（prompt）和微调，来实现情感分析。包括直接微调、指令调优（InstructABSA）和链式思维微调（THOR）等方法。它们利用提示技术，使模型能够更好地捕捉隐性情感元素。

多任务学习方法通过共享多个相关任务的信息，增强模型的泛化性能。包括BERT-MTL和MTABSA等方法，这些方法通过联合学习不同的情感分析子任务，提升整体性能。此外，研究团队还比较了MT-Re和MT-Ra方法，它们结合了推理和预测任务，尝试通过解释任务来增强主任务的性能。

消融研究

为了深入理解数据级自动权重学习（D-AWL）和任务级自动权重学习（T-AWL）的影响，研究团队进行了消融研究。结果表明，没有D-AWL的MT-ISA模型性能下降了近2%，尤其是在使用XXL模型进行餐厅ISA时下降更为显著。这表明D-AWL策略在调整数据级关注和增强学习效果中的重要性。而没有T-AWL的MT-ISA模型性能下降更为明显，这表明T-AWL在平衡不同任务和适应不同规模模型方面起到了关键作用。当MT-ISA在没有D-AWL和T-AWL的情况下应用时，性能显著下降，进一步突显了两者相互补充的关系。

案例研究

图4：采用输入和输出D-AWL策略的MT-ISA模型尺寸效应。比较了辅助任务权重和隐含F1分数。

为了展示辅助任务构建的过程，研究团队进行了一个具体的案例研究，旨在恢复ISA中的方面和意见。在这个过程中，通过与现成的大模型（如GPT-4o-mini）进行两轮对话，达成共识。每次生成后的内容会作为下一次生成的参考，从而不断优化生成的结果。通过带有金标签干预的自我改进策略，GPT-4o-mini有效地调整其响应以与真实情感对齐，同时置信度评分也在此过程中略有上升。

数据级AWL策略比较

在数据级自动权重学习（D-AWL）策略比较中，研究团队评估了输入策略、输出策略和输入-输出策略的效果。实验结果表明，基础大小模型在输入数据级AWL策略下表现更好，而XXL大小模型在输出数据级AWL策略下表现更佳。这是因为基础模型在处理辅助信息方面的能力较弱，更适合从输入级调整，而XXL模型则具备更强的处理复杂输入数据的能力，适合通过输出级调整进行精细优化。

在模型大小的影响方面，随着模型大小的增加，MT-ISA的性能也随之提升。这是因为更大的模型具备更强的推理能力，可以更好地利用辅助任务进行学习。无论采用何种数据级AWL策略，模型在处理复杂输入数据和优化预测方面的能力都得到了提升。

讨论

在这一部分，研究团队将详细讨论置信度评分分布和自动损失函数（ALF）的影响。通过分析不同方法的置信度评分分布，以及比较两种不同的自动损失函数ALF1和ALF2，研究团队可以更全面地理解MT-ISA框架的性能和效果。

置信度评分分布

置信度评分在MT-ISA框架中起到了至关重要的作用，特别是在数据级自动权重学习（D-AWL）策略中，通过置信度评分来动态调整数据实例的权重，可以有效提高模型的学习效果。研究团队采用了三种方法来检索置信度评分：基于提示的方法、马尔可夫链方法和选择词元方法。

基于提示的方法

这种方法通过提示生成模型的输出，并根据生成结果的置信度评分对数据实例进行加权。这种方法通常具有更高的一致性，因为它能够在生成和推理过程中动态调整评分，反映数据实例的可靠性。图6展示了基于提示方法在餐厅和笔记本电脑数据集上的置信度评分分布，结果显示大多数置信度评分集中在0.8到1.0之间，这表明生成模型在多次自我改进和标签干预后，倾向于为更可靠的结果分配更高的评分。

马尔可夫链方法

在这种方法中，生成的序列被视为马尔可夫链决策过程，通过汇总词元级的概率并进行归一化，得到序列级的置信度评分。这种方法的评分分布范围更广泛，从0.5到1.0，但也容易产生低置信度评分，可能会导致输入策略中生成结果的质量下降。

图5：一个例子说明了为构建辅助数据而设计的算法1。这一过程产生了a方面和意见o，使用带有金标干预的自我完善策略。这个例子在两次运行后与GPT-4o-mini达成了共识。

选择词元方法

通过提示模型解决二分类问题，生成选择结果的词元级概率作为置信度评分。这种方法的评分分布主要集中在0.8到1.0之间，接近基于提示的方法。然而，这种方法在低置信度评分时可能会出现长尾效应，导致数据质量的不稳定。

基于提示的方法由于其一致的置信度估计，在数据级AWL中的表现优于其他方法。这也强调了置信度校准在MT-ISA框架中的重要性，能够有效提高数据实例的可靠性。

图6：不同方法检索的置信度得分分布：（a）基于提示的餐厅数据集，（b）基于提示方法的笔记本电脑数据集。

自动损失函数的影响

在任务级自动权重学习（T-AWL）中，研究团队采用了两种不同的自动损失函数（ALF）：ALF1和ALF2。这两种损失函数的主要区别在于正则化项的不同。

ALF1的正则化项为log(σ²)，其中σ是可调的观测噪声参数。然而，当σ小于1时，log(σ²)可能引入负值，导致训练过程中的不稳定性或表现不佳。实验结果显示，使用ALF1的MT-ISA模型在餐厅数据集上的辅助任务权重趋向于非常小的值，表明这种损失函数在训练中可能过于激进，导致模型收敛到一个次优解。

ALF2的正则化项为ln(σ² + 1)，有效避免了负值的引入。实验结果表明，使用ALF2的MT-ISA模型在大多数场景中的表现优于ALF1。具体来说，ALF2提供了更稳定的训练过程，实现了更好的性能。这是因为ALF2在任务权重的调整中更为平衡，避免了过度调整和梯度振荡的问题。

MT-ISA框架对任务权重非常敏感，而ALF2在任务级自动权重学习中提供了更稳定和有效的结果。通过动态调整任务权重，ALF2能够更好地利用辅助任务，提高整体的学习效果。

结论

MT-ISA框架通过结合生成性大模型和自动权重学习，成功应对了隐性情绪分析中的诸多挑战。通过基于提示的方法和自动损失函数ALF2的应用，MT-ISA框架在处理复杂情感推理任务时，展现了卓越的性能和适应性。

尽管本研究在隐性情绪分析领域取得了显著进展，但仍有一些方向可以进一步探索和优化。未来的研究可以进一步改进置信度评分的估计方法，以提高数据级自动权重学习的精度。例如，探索更多基于深度学习的方法，通过更复杂的模型来估计置信度评分，从而提高数据实例的可靠性。

其次，可以尝试引入更多的自动权重学习策略，探索不同的损失函数和正则化项对任务级自动权重学习的影响。通过更全面和细致的策略，进一步提升多任务学习的效果，使得模型在不同任务和数据集上都能够达到最佳表现。

MT-ISA框架的应用不仅限于隐性情绪分析，还可以扩展到其他自然语言处理任务中。通过在不同的任务中应用MT-ISA框架，探索其在更广泛NLP任务中的适用性和效果，进一步验证其鲁棒性和扩展性。这不仅能丰富理论研究，还能为实际应用提供更加全面的解决方案。

总体而言，MT-ISA框架通过结合生成性大模型和自动权重学习，成功解决了隐性情绪分析中的诸多挑战，为情感分析领域带来了新的希望。未来的研究和应用可以在这一基础上进一步扩展和优化，推动NLP技术的发展和进步。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述