2. Learning Differentially Private Recurrent Language Models

总结：

客户端进行参数裁剪，聚合模型时使用差分隐私。<-- 前提是保证有可信的第三方。该方式应对的是 模型下游使用过程中面临的差分攻击 。

1. 每文三问

• 文章在解决什么问题？

  阐述训练具有 user-level DP 保证的大型循环语言模型是可能的，且预测的准确性有很小的损失。

• 用了什么方法？

  在 FedAVG 算法中添加 user-level DP 保护。

• 效果如何？

  给定一个拥有足够多用户的数据集（即使是小型互联网规模数据集也很容易满足这一要求），实现的代价是增加计算量，而不是降低效用。当在大型数据集上训练时，我们的加噪 LSTM 语言模型在定量和定性上与无噪声模型相似。

2. 知识点索引

章节1

• 对比 example-level privacy 与 user-level privacy。分析 example-level privacy 在该案例中的不足。
• 简述 moments accountant 的作用1。（计算总体隐私预算 $ϵ$ ）
• 结论：1. 精度(非加噪) same level as 精度(加噪) + 计算量； 2. 同样的计算量 + 更多 users --> 更强的隐私保护(增加数据集)；
• User-adjacent datasets 定义 ---- (相邻用户数据集) 【user-level privacy】

章节2

• 介绍 FedAVG

  1. large-step updates are more resistant to noise.
  2. few rounds of training can imply less privacy cost.
  

• 对 no-private FedAVG 做的改动

  A) 使用概率q 选择参与计算的客户端，而不是选择固定数量的客户端。（客户端数量不是固定的）
  B) 参数裁剪
  C) 不同的评估器
  D) 在最终的平均更新中加入噪声
  

• moments accountant 的功能2 - bound the total privacy loss of the algorithm

• 加权平均查询的有界敏感度估计

  • 问题：由于样本C（参与训练的 client数）的大小是可变的，将对查询函数f 的敏感度产生影响
  • 两个评估器

• 多层模型的裁剪策略

  • 目的：to enforce such a bound S

  • 对于深度网络，应对每一层的参数单独裁剪

  • 两种裁剪策略

    • Flat clipping

    • Per-layer clipping (建议使用)

  • 对裁剪参数的大小进行说明

• 一个隐私保障

  • 加噪的前提：估计器的敏感度是有界(have a bound)的
  • 计算 a bound 的方法
    • apply the amplification lemma and the advanced composition theorem
    • moments accountant

• 结论：1. 数据集规模的增加，使得实现高水平的隐私更加容易；2. 每一轮增加更多的用户只会有很小的隐私成本。