1. 背景介绍
最近关注到上海科委发布了2024关键技术攻关专项的指南通知【1】，其中涉及到一个非常有意思的课题：《大模型隐私保护技术研究》。
课题提到：
研究目标：针对大模型参数与训练数据等资产隐私保护的需求，构建大模型关键参数识别、筛选及隐私保护算法框架。
研究内容：研发大模型隐私保护算法框架及实施方案，对于拥有不超过130亿参数量级的模型，算法工具能够在2小时内筛选出模型中最具保护价值的参数并给出推荐模型参数保护数量（不超过模型参数总量的10%），实现针对千万级词元数据集SFT攻击还原训练数据的有效防护，并在类SQL语言生成应用场景进行验证。
该课题中谈到，算法工具能够筛选出最具保护价值的参数以及数量，这个思路很新颖，设计一种有效的算法自动去识别出信息量大或者信息敏感的关键参数模块。前期其实调研了一番隐私计算技术如何应用于大模型的隐私保护：包括采用横向/纵向联邦学习、TEE及模型切片、端云协同、差分隐私、提示工程保护、隐私微调、多方安全计算实现加密推理等不同的技术路线，但确实没有看到课题所提出的这样一种技术。
看到这个，回忆起很早之前接触的复杂网络，更具体是指网络中的关键节点识别，通过一系列网络分析，能够识别出能够引起网络崩塌或者网络失效的关键节点。假如说将大模型的神经元看成是一系列连接的节点，是否也可以使用复杂网络的方法来实现关键节点或者参数的识别？ 感觉会是很有趣的一个探索方向。
如果读者有相关的其他想法，欢迎留言讨论。
本文后续会将之前调研的隐私计算实现大模型隐私保护的技术做进一步补充和完善，也期待过程中对上海科委的课题有进一步的新想法。
567
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
