NeurIPS 2024大模型隐私挑战赛落幕，中国团队夺得赛道冠军

近日，第三十八届神经信息处理系统年会（NeurIPS 2024）特设官方赛——大语言模型隐私挑战赛（LLM-PC）落幕。蚂蚁数科旗下摩斯联合浙江大学计算机体系结构实验室陈文智、魏成坤团队共9人组成了“Morse & ARCLab”参赛队伍，荣获该赛事全部两个赛道中攻击赛道的冠军和防御赛道的最佳实用防御奖。赛题聚焦大语言模型训练数据的隐私安全，有助于推动整个领域向构建更加安全、可靠的AI系统目标前进，冠军方案也代表着当前业界领先技术。

NeurIPS是机器学习领域三大顶级国际会议之一，也是中国计算机学会A类推荐会议。本次特设竞赛于2024年7月底开始，由加州大学伯克利分校、德州大学奥斯汀分校、伊利诺伊大学厄巴纳-香槟分校、新加坡国立大学、Center for AI Safety等高校与机构联合命题组织，吸引来自数十个国家超30支队伍参与角逐。

本次参赛者的任务是设计与实现创新解决方案，从下游模型中窃取训练数据中的隐私或设计隐私保护的训练方法。据悉，此次攻击赛道中，蚂蚁数科和浙大团队方法在比赛提供的Llama3.1-8B模型上可以达到0.233的攻击成功率；在防御赛道，其方案使主办方提供的攻击方法成功率相对降低30.6%，同时在MMLU和TruthfulQA等基准数据集上的结果也表明该方法对模型性能几乎没有损耗。

参赛队伍队长蚂蚁数科摩斯算法专家刘文炎告诉记者：“在攻击赛道中，我们通过查询目标模型来构建提示语，促使其为每个掩盖的个人可识别信息（PII）生成候选回应，并计算其损失值，再用自我提示候选提取和基于损失的贪心搜索，选择损失值最低的候选作为最终输出。这种基于分段与聚合的损失计算方法，以加速候选项的选择过程。在防御赛道中，我们利用数据脱敏与合成技术，对包含PII的语料进行随机替换，之后以自回归的方式微调目标模型，可以扰乱大模型对PII信息的记忆，降低其输出正确PII的可能，防止隐私数据泄漏。”

解决数据和模型的隐私安全问题，是大模型在产业界尤其是金融行业落地的重要课题。蚂蚁数科摩斯结合比赛同款方案，研发了大模型隐私保护产品，该产品融合数据脱敏、拆分学习、模型混淆、差分隐私、TEE等多种技术路线，实现大模型应用中模型微调、推理全链路的数据和模型隐私保护。目前该方案应用于网商银行农业助贷场景，利用摩斯的大模型隐私保护技术融合多方时空大数据，共建“密态时空大模型”，进行行内农户贷款风险评估，进一步提升种植户金融放宽效率和满意度。

今年7月，蚂蚁数科摩斯成为信通院首批通过大模型可信执行环境产品专项测试的厂商。蚂蚁数科摩斯技术负责人殷山表示，“摩斯将在大模型隐私保护方向，持续进行技术投入和落地探索，推进大模型在产业界发展。”