Manipulation Attacks in LDP

Manipulation Attacks in Local Differential Privacy

有史以来读过的最艰难的一篇论文，截至目前仍未完全明白，该论文十分具有创新性，揭示了LDP的巨大缺陷，并通过数学分析给予了详细证明

链接: Manipulation Attacks in Local Differential Privacy.

概要： 文章提出 针对非交互式的 本地的差分隐私机制十分容易受到manipulate attack
当 隐私预算较低、 或输入域较大时，manipulate 攻击可以通过仅通过控制一小部分用户，即可对结果造成很大的影响

且现有的LDP协议在易受manipulation attack 方面差异很大

1. Introduction

1. 文章指出，manipulation attacks 对于任何的非交互式本地差分隐私机制，都有着更高程度的攻击性
   • 其他算法虽然同样可以被manipulate 但其攻击性均无在非交互式的差分隐私机制上大
   • 该非交互式本地差分隐私机制，对任意场景的问题均适用，如：均值计算、频率估计、发现频繁项、数据分布规律估计
   • 在非交互式本地差分隐私机制中，对message 进行投毒， 比对用户数据本身进行投毒来的危害更大
2. 文章对 每个场景 给出了最优manipulation attacks ，并证明没有攻击可以比他们的危害更大。（问题具体如下图）
   • 现有的协议 在易受manipulation attack 方面差异很大
3. manipulation attack 的攻击效果随着隐私预算的减小、用户值域的增大而增大
   • 对于每个 $\epsilon -localDP$的算法， $\gamma$ 比例的用户可以导致 $\tilde{\Omega }\frac{(\sqrt{d})}{\epsilon }\cdot \gamma$ e的误差

1.1 Local Differential Privacy & Threat Model

1.1.1 LDP

Parameters

• n users, $i\in [n],x_i\in \chi$, public random string S
• Each user compute a $message{y}_i\leftarrow R_i（xi，b）$​，其中$R_i：\chi \times S\to \gamma$
• The aggregator A:$z\leftarrow A(y_1,...,y_n,S)$,其中 ${\gamma }^n\times S\to Z$

如下图所示是一个经典的（非交互）本地差分隐私协议的执行过程

• 本地数据 经过本地隐私机制R 得到扰动数据 ，本文中称为message
• 聚合器收集扰动数据，得到最终统计结果

1.1.2 Threaten Model

攻击者控制$\gamma$ 比例的用户，令其发送给聚合器的扰动数据 随机 或 固定有目的 的改变

1.2 Intuition （为什么本地协议更容易被manipulation 攻击）

1. Privacy Mechanism： 因为本地差分隐私机制要求每个用户的扰动数据几乎独立于他们的原始数据（输入输出近似独立），因此在原始数据x分布上差别很大的两条数据，在扰动数据message分布上将会差别很小。
2. **Untrusted Aggregator: ** 而服务器为了从扰动数据中获得相对准确的结果，必须对扰动数据的微小变化高度敏感。而我们的manipulation attack 就是利用了服务器的高度敏感性。
   • 也就是说用户在扰动数据上微小的改变，会被服务器认做为来自不同在数据分布上差别很大的不同用的数据，从而使得服务器最终的输出结果产生巨大的误差

为什么CDP 仅限于input manipulation

因为在CDP中每个用户都是无噪声的情况下交互数据，聚合器也无需对每个数据进行校正

1.3 A Pepresentative Example: Frequency Estimation

以频率估计（一个最简单的任务）作为例子，辅助对 manipulation attack 的理解。

参数设置

1. n 个用户， 每个用户贡献一个值，m个用户可以被攻击者掌控

2. 用户值域[d]={1,…,d}

3. 持有值j的用户的比例 v_j

4. 准确率计算：l₁范数。$||v-\hat{v}|{|}_1={\sum }_{j=1}^d|v_j-\widehat{v_j}|$

BaseLine Attacks

一个有效的攻击应该比下面的基线攻击引入更多的误差

1. No Manipulation

   攻击者没有进行操纵发生攻击，因而最终只产生了为保证差分隐私而引入的误差

2. Input Manipulation

   攻击者令操纵的用户改变他们的输入数据，被操纵的用户会诚实地执行协议，但他们的输入数据会被改变

   • 当被操纵者的比例为m/n时， 则攻击者可以对整体的数据分布偏离m/n

   • input manipulation 适用与所有算法，无论是否隐私

     

Manipulation Attack

对message 进行扰动

• 对于Frequency Estimation，manipulation attack 使得总体分布偏离 $\frac{m\sqrt{d}}{\epsilon n}$
• 对于Frequency Estimation，当 攻击者掌握了约 $m\approx \sqrt{nd}$时，能够造成最大程度的攻击效果

The Breakdown Point

协议在保证准确性的前提下，能够忍受的最大的被破坏的用户比例

• 对于Frequency Estimation， breakdown point是 $\gamma =\epsilon /\sqrt{d}$