计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-18

计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-18

---

目录

---

1. On the Reliability of Large Language Models to Misinformed and Demographically-Informed Prompts

Authors: Toluwani Aremu, Oluwakemi Akinwehinmi, Chukwuemeka Nwagu, Syed
Ishtiaque Ahmed, Rita Orji, Pedro Arnau Del Amo, Abdulmotaleb El Saddik
https://arxiv.org/abs/2410.10850
大型语言模型对错误信息和人口统计学信息提示的可靠性研究

摘要：
本文研究了基于大型语言模型（LLM）的聊天机器人在处理错误信息提示和包含人口统计学信息的问题时的行为和表现。研究聚焦于气候变化和心理健康领域，通过定量和定性方法评估聊天机器人辨别陈述真实性、坚持事实以及其回应中存在的偏见或错误信息的能力。定量分析显示，聊天机器人在回答封闭式问题时能够给出正确答案，但定性分析揭示了隐私、伦理问题以及聊天机器人在将用户引导至专业服务方面仍存在担忧。

研究背景：
随着大型语言模型（LLMs）的广泛应用，其在语言理解和生成方面的能力显著提升。然而，LLMs在处理敏感领域信息时，如气候变化和心理健康，其输出的准确性和可靠性成为关键问题。

算法模型：
研究主要分析了三个基于LLM的聊天机器人：ChatGPT、Bing Chat和Google BARD。通过构建基准数据集，包含气候变化和心理健康领域的真假问题，以及与领域专家的合作，对聊天机器人的回应进行了评估。

核心创新点：

• 提出了一个综合基准数据集，用于评估LLM支持的聊天机器人。
• 与领域专家合作，对聊天机器人的回应进行了深入的定性分析。
• 提出了针对LLM支持的聊天机器人在提供气候变化和心理健康信息时的挑战和策略。

实验效果：
实验结果显示，聊天机器人在回答气候变化和心理健康领域的封闭式问题时表现出较高的准确性。然而，定性分析揭示了隐私、伦理问题以及在引导用户至专业服务方面的担忧。

后续潜在研究方向：
未来的研究可以进一步探索如何提高LLM在处理敏感领域信息时的准确性和可靠性，以及如何更好地整合领域专家的知识以提升聊天机器人的性能。

推荐阅读指数： ★★★★☆

2. SafeLLM: Domain-Specific Safety Monitoring for Large Language Models: A Case Study of Offshore Wind Maintenance

Authors: Connor Walker, Callum Rothon, Koorosh Aslansefat, Yiannis
Papadopoulos, Nina Dethlefs
https://arxiv.org/abs/2410.10852
SAFELLM: 针对大型语言模型的特定领域安全监控：海上风电维护案例研究

<