计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-23

计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-23

本期，我们对大语言模型在表情推荐, 软件安全和 自动化软件漏洞检测等方面如何应用，提供几篇最新的参考文章。

1 Semantics Preserving Emoji Recommendation with Large Language Models

Z Qiu, K Qiu, H Lyu, W Xiong, J Luo - arXiv preprint arXiv:2409.10760, 2024

使用大型语言模型进行语义保持的 Emoji 推荐

摘要
Emoji 已经成为数字通信中不可或缺的一部分，通过传达情感、语气和意图来丰富文本。现有的 Emoji 推荐方法主要基于它们与用户原始文本中选择的确切 Emoji 匹配的能力进行评估。然而，它们忽略了社交媒体上用户行为的本质，即每段文本都可以对应多个合理的 Emoji。为了更好地评估模型与现实世界 Emoji 使用的一致性，我们提出了一个新的语义保持评估框架，用于 Emoji 推荐，该框架衡量模型推荐与用户文本保持语义一致性的 Emoji 的能力。为了评估模型保持语义的能力，我们评估预测的情感状态、人口统计特征和态度立场是否保持不变。如果这些属性得以保留，我们认为推荐的 Emoji 保持了原始语义。大型语言模型（LLMs）在理解和生成细微、相关上下文输出方面的高级能力使它们非常适合处理语义保持 Emoji 推荐的复杂性。为此，我们构建了一个全面的基准测试，系统地评估了六种专有和开源 LLMs 使用不同提示技术在我们的任务上的性能。我们的实验表明，GPT-4o 在其他 LLMs 中表现最佳，达到了 79.23% 的语义保持分数。此外，我们进行了案例研究，分析了模型在下游分类任务中的偏见，并评估了推荐的 Emoji 的多样性。

创新点

1. 提出了一个新的语义保持评估框架，用于评估 Emoji 推荐模型。
2. 利用大型语言模型（LLMs）进行 Emoji 推荐，考虑了模型在理解和生成相关上下文输出方面的能力。
3. 开发了一套全面的基准测试，评估了多种 LLMs 在 Emoji 推荐任务上的性能。

算法模型

• 使用了六种不同的专有和开源大型语言模型（LLMs），包括 GPT-4o。
• 构建了基于不同提示技术（zero-shot, few-shot, conditional generation）的评估方法。
• 利用五个下游分类任务（情感分析、情绪分类、立场检测、年龄预测、性别预测）来评估语义保持能力。
  

实验效果

• GPT-4o 在所有模型中表现最佳，达到了 79.23% 的语义保持分数。
• 通过条件推荐方法（考虑用户画像信息），所有模型的推荐性能都有显著提升。
• 案例研究显示，模型在特定类别（如性别分类中的“女性”类别）中存在偏差。
  
  
  

推荐阅读指数
★★★★☆