提出MARILL框架：通过适配LLM微调来最小化安全推理过程中的MPC使用

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

本周精选了5篇LLM领域的优秀论文，为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain?f=cs

1.Fact Finder – Enhancing Domain Expertise of Large Language Models by Incorporating Knowledge Graphs

本文介绍了一种新系统，旨在通过整合知识图谱来提升大型语言模型（LLM）的领域专业知识。尽管当前的LLM在回答自然语言查询方面表现出色，但它们的有效性受到限于特定领域的知识所困扰，这引发了对其回应可靠性的疑虑。该系统采用了一种基于知识图谱（KG）的检索方法，将LLM与领域特定的知识图谱相结合，以提高事实的准确性。研究中，我们专注于使用医学知识图谱来展示我们的方法，该方法包括预处理、Cypher查询生成、Cypher查询处理、KG检索以及LLM增强的响应生成。我们在一个精心整理的69个样本的数据集上评估了我们的系统，实现了在检索正确KG节点方面的精确度为78%。我们的发现表明，这个混合系统在准确性和完整性方面超过了单独的LLM，这一点得到了LLM作为评判标准的评估方法的验证。这使得该系统成为了一个在需要事实准确性和完整性的应用中具有潜力的工具，例如目标识别，这是确定疾病治疗或作物增强所需生物实体的关键过程。此外，其直观的搜索界面和能够在几秒钟内提供准确回应的能力，使它非常适合于时间敏感、注重精确度的研究环境。研究还发布了源代码、数据集以及所使用的提示模板。

链接：https://www.aminer.cn/pub/66b2d8ae01d2a3fbfcf3a6ff/?f=cs

2.Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models

本文研究了大语言模型（LLM）在格式限制对性能的影响。具体来说，通过比较LLM在遵守结构化格式（如JSON和XML）与自由生成响应时的表现，研究了这些限制是否会影响LLM的推理和领域知识理解能力。研究结果显示，在格式限制下，LLM的推理能力显著下降，并且严格的格式约束通常会导致推理任务的性能下降更严重。

链接：https://www.aminer.cn/pub/66b1847401d2a3fbfc600c5f/?f=cs

3.CodexGraph: Bridging Large Language Models and Code Repositories via Code Graph Databases

本文介绍了一种名为CodexGraph的新系统，该系统将大型语言模型（LLM）与代码仓库通过代码图数据库连接起来。虽然大型语言模型在独立的代码任务上表现出色，但在处理整个代码仓库方面却遇到了挑战。现有的解决方案依赖于基于相似度的检索或手动工具和API，但这些方法都存在明显的缺陷。基于相似度的检索在复杂任务中往往召回率低，而手动工具和API通常是任务特定的，需要专业知识，这降低了它们在各种代码任务和实际应用中的通用性。为了解决这些问题，研究者提出了CodexGraph系统，该系统将LLM代理与从代码仓库中提取的图数据库接口集成在一起。通过利用图数据库的结构属性和图查询语言的灵活性，CodexGraph使LLM代理能够构建和执行查询，从而实现精确的、基于代码结构的上下文检索和代码导航。研究者使用三个基准测试评估了CodexGraph：CrossCodeEval、SWE-bench和EvoCodeBench，并开发了五个实际编程应用。通过统一的图数据库模式，CodexGraph在学术和实际应用环境中都展示了有竞争力的性能和潜力，证明了其在软件工程中的多功能性和有效性。

链接：https://www.aminer.cn/pub/66b42a3901d2a3fbfc93e8ea/?f=cs

4.LLM-Aided Compilation for Tensor Accelerators

本文讨论了如何利用大型语言模型（LLM）构建支持张量处理的硬件加速器的编译器。目前，这类加速器在深度学习之外的许多应用领域缺乏软件基础设施。同时，一个能够轻松更新以反映应用程序和硬件级别变化的编译器，将使加速器的发展和设计空间探索更加灵活，使硬件设计师能够实现更接近最优性能的目标。本文具体展示了GPT-4在将代码翻译成Gemmini加速器方面的高通过率，并提出了一种将翻译分解成更小、更易于LLM处理的分步技术。此外，还提出了一种两阶段工作流程，用于利用LLM生成针对硬件优化的代码。

链接：https://www.aminer.cn/pub/66b4299101d2a3fbfc91cdc4/?f=cs

5.MPC-Minimized Secure LLM Inference

这篇论文探讨了基于大型语言模型（LLM）的推理服务在保护用户隐私方面存在的问题。目前，这些服务要么会暴露用户提示给服务提供者，要么会暴露专有权重给用户。为了解决这个问题，论文提出通过安全多方计算（MPC）来进行安全推理。然而，由于MPC带来的大量开销，这种方法对于现代LLM工作负载来说仍然不切实际。为此，论文提出了一种名为Marill的框架，该框架通过适配LLM微调来最小化安全推理过程中的MPC使用。Marill在微调过程中引入高级架构更改，以显著减少在推理过程中MPC内所需的开销，通过移除一些操作并在不损害安全的前提下将它们移出MPC。结果表明，Marill生成的模型在所有安全推理协议上效率更高，并且我们的方法补充了MPC友好的近似值。与标准微调相比，Marill在各种MPC设置下，安全推理过程中的运行时间和通信性能分别提高了3.6-11.3倍和2.4-6.9倍，同时通常保留超过90个下游任务。

链接：https://www.aminer.cn/pub/66b429c401d2a3fbfc926bd5/?f=cs

---

AMiner AI入口：
https://www.aminer.cn/chat/g/explain?f=cs