UW：LLM道德观数据集DailyDilemmas

📖标题：DailyDilemmas: Revealing Value Preferences of LLMs with Quandaries of Daily Life
🌐来源：arXiv, 2410.02683

摘要

🔸随着我们越来越多地向LLM寻求日常生活决策的指导，其中许多决策并不明确，在很大程度上取决于用户的个人价值观和道德标准。我们介绍了DAILYDILEMMAS，这是一个包含1360个日常生活中遇到的道德困境的数据集。每个困境都包括两种可能的行动，每种行动都涉及受影响的各方和人类价值观。基于这些困境，我们在日常话题中巩固了一套人类价值观，例如人际关系、工作场所和环境问题。
🔸我们评估了LLM在这些困境中的表现，以确定他们将采取什么行动以及这些行动所代表的价值观。然后，我们通过受社会学、心理学和哲学启发的五种流行理论来分析这些价值观。这些理论是：世界价值观、道德基础理论、马斯洛的需求层次理论、亚里士多德的美德和情感的普鲁契克轮。
🔸我们发现，在世界价值观调查中，LLM最符合自我表达而非生存价值观，在道德基础理论中，LLMs最符合关心而非忠诚。有趣的是，我们发现模型对真实性等核心价值的偏好存在巨大差异，例如，Mixtral-8x7B模型倾向于忽略9.7%，而GPT-4-turbo模型倾向于选择9.4%。我们还研究了OpenAI（ModelSp