【多标签 零样本 主题推理 】Zero-Shot Multi-Label Topic Inference with Sentence Encoders and LLMs

Zero-Shot Multi-Label Topic Inference with Sentence Encoders and LLMs 利用句子编码器和 LLM 进行零样本多标签主题推理

EMNLP 2023 （2023.6.23截稿/2023.12.6开会）

论文地址
代码暂无

Abstract

In this paper, we conducted a comprehensive study with the latest Sentence Encoders and Large Language Models (LLMs) on the challenging task of “definition-wild zero-shot topic inference”, where users define or provide the topics of interest in real-time. Through extensive experimentation on seven diverse data sets, we observed that LLMs, such as ChatGPT-3.5 and PaLM, demonstrated superior generality compared to other LLMs, e.g., BLOOM and GPT-NeoX. Furthermore, Sentence-BERT, a BERT-based classical sentence encoder, outperformed PaLM and achieved performance comparable to ChatGPT-3.5.

在本文中，我们利用最新的句子编码器和大型语言模型（LLM）对 "definition-wild zero-shot主题推理 "这一具有挑战性的任务进行了全面研究。

通过在七个不同的数据集上进行广泛实验，我们发现，与其他 LLM（如 BLOOM 和 GPT-NeoX）相比，ChatGPT-3.5 和 PaLM 等 LLM 表现出更优越的通用性。

此外，基于 BERT 的经典句子编码器 Sentence-BERT 的表现优于 PaLM，其性能可与 ChatGPT-3.5 相媲美。