北大：LLM在法律场景的交互式RAG工具

📖标题：ELLA: Empowering LLMs for Interpretable, Accurate and Informative Legal Advice
🌐来源：arXiv, 2408.07137

摘要

虽然法律大语言模型（LLMs）与法律文章检索组件相结合在法律咨询方面表现出色，但仍存在建议不正确或没有依据的情况。为了缓解这些问题，我们提出了“ELLA”，这是一个工具，用于赋能LLMs，以提供可解释、准确和信息丰富的法律建议。ELLA通过计算法律文章和LLM响应之间的相似性，直观地呈现它们之间的关系，为用户提供响应的法律依据。此外，基于用户的查询，ELLA检索相关的法律文章并显示给用户。用户可以交互式地选择法律文章，以便LLM生成更准确的响应。ELLA还检索相关的法律案例供用户参考。我们的用户研究表明，呈现响应的法律依据有助于用户更好地理解。当用户干预选择LLM的法律文章时，LLM的响应准确性也会提高。提供相关的法律案例也有助于个人获得全面的信息。

🛎️文章简介

🔸研究问题：尽管法律大语言模型（LLM）结合法律文章检索组件在法律咨询方面表现出色，但仍然存在给出的建议不正确或毫无根据的情况。
🔸主要贡献：论文提出了ELLA工具，通过增强LLM的解释性、准确性和信息丰富性，提供更好的法律咨询服务。

📝重点思路

🔺相关工作

🔸在法律领域，LLM的回答需要具有较高的准确性，并有合理的法律依据支持，因此检索组件发挥着重要作用，为LLM提供正确且相关的法律文章。
🔸但当检索到不相关的内容时，它们不可避免地会给LLM带来噪音，导致LLM产生不完整、不正确或不一致的信息的响应。
🔸此外，法律 语有时可能会嵌入到缺乏足够解释的回复中，给没有领域知识的用户带来潜在的理解困难。

🔺ELLA框架

🔸聊天界面：直观地展示用户与LLM之间的多轮对话信息。
🔸交互式法律文章选择：提供检索到的法律文章供用户选择，增加了用户情况与LLM所引用法律文章之间的一致性，以提高LLM生成响应的完整性和准确性。
🔸回复解读：提供法律文章依据和司法解释，帮助用户理解复杂的法律术语和特殊案例。
🔸法律案例检索：使用BGE嵌入模型进行法律案例检索，并通过微调使其适应法律领域，以显示相关法律案例供用户参考。

🔎分析总结

🔸用户参与法律文章选择后，LLM能够生成更完整和准确的法律建议。
🔸响应解释模块有效帮助用户理解法律建议中的术语和特殊案例。
🔸在用户研究中，ELLA工具在80%的情况下能够帮助用户获得正确的法律建议，尤其是在用户选择相关法律文章后。

💡个人观点

论文的核心是通过交互式法律文章选择和响应解释模块，提高了LLM在法律咨询中的准确性和用户理解度。

附录