K-匿名算法

在大数据的时代,很多机构需要面向公众或研究者发布其收集的数据,例如医疗数据,地区政务数据等。这些数据中往往包含了个人用户或企业用户的隐私数据,这要求发布机构在发布前对数据进行脱敏处理。K匿名算法是比较通用的一种数据脱敏方法。

K-匿名的基本概念

为解决链接攻击所导致的隐私泄露问题,引入k-匿名 (k-anonymity) 方法。k-匿名通过概括(对数据进行更加概括、抽象的描述)和隐匿(不发布某些数据项)技术,发布精度较低的数据,使得同一个准标识符至少有k条记录,使观察者无法通过准标识符连接记录。

  • 概括(Generalization):指对数据进行更加概括、抽象的描述,使得无法区分具体数值,例如年龄这个数据组,概括成一个年龄段(例如上表中的>=40岁)。
  • 隐匿(Suppression):指不发布某些信息,例如上表中的用*号替换邮编的末三位。通过降低发布数据的精度,使得每条记录至少与数据表中其他的K-1条记录具有完全相同的准标识符属性值,从而降低链接攻击所导致的隐私泄露风险。

原表虽然隐去了姓名,但是攻击者通过邮编和年纪,依然可以定位一条记录,经过k匿名后,对邮编和年纪做以抽象,攻击者即使知道某一用户的具体邮编为47906,年龄47,也无法确定用户患哪一种病。上图的同一个准标识符{邮编,年纪}至少有3条记录,所以为3匿名模型。

k匿名模型的实施,使得观察者无法以高于1/k​的置信度通过准标识符来识别用户。

K-匿名算法实践

(一)泛化技术分类

K-匿名算法按照泛化范围,可以分为全局算法和局部算法。

全局算法:

在整个属性列上进行泛化,如把邮编最后3位数隐匿,这种泛化会带来很高的信息损失,因为原始数据表中的数据的分布不平均,存在一些有孤 立的数据,要想满足匿名化的条件,就要把整个数据表一遍又一遍的泛化,直到所有的 准标示符属性泛化之后得到的组合能够在相对应的泛化层次中找到,因此造成了数据表的泛化过度,产生不必要的泛化,信息失真度较大。为了解决这一问题,减少数据的损失量,学术界将研究目标全域重新编码算法转移到了局部重新编码算法。

局部算法:

将同属性列中的元素泛化到不同的等级,在单个元组上对,准标示符属性值进行泛化处理的,它将同一个准标示符属性列之中,不同个体的属性值泛化到相对独立的不同泛化层次结构中,这样就不会造成数据表的过度泛化, 将匿名表中的数据损失量控制到最小。

减少了数据损失量。

(二)Datafly算法

算法实施:

  1. 对每个准标识符属性的取值个数进行统计,取出统计值最大的准标识符进行一个层级的泛化。
  2. 对泛化后的表格进行k匿名检测。
  3. 如果泛化后的数据表符合k匿名检测,则输出,如果不符合,goto 1

以下图为例:

Step1:邮编属性个数为4,对其进行泛化

Step2:泛化结果如图所示,对其进行匿名检测,不符合匿名规则, goto 1

Step3:年龄属性个数为3,对其进行泛化

Step4:泛化结果如图所示,对其进行匿名检测,第4条记录可以唯一确定一条信息,不符合匿名规则 goto 1

Step5:年龄属性个数为2,对其进行泛化

符合2-匿名规则,输出次表格。

(三)KACA算法

(k-Anonymity by Clustering in Attribute)

基本概念

(1)数值之间的距离

如:最大号码123456,最小号码1*****,电话号码123456,与电话号码123455之间的距离为

(123456-123455)/ 123456 == 1/123456,可以看出123456与123455之间距离很小

其中A(vi,vj)代表分类树中以vi和vj的最小公共祖先为根的子树,H(T)表示分类树T的高度。

图中Asia,与American的距离为1/3,china和Mexico的距离为3/3,显然Asia与American的距离更近。 

(2)泛化的加权层次距离

泛化的加权层次距离:Weighted hierarchical distance,反应不同的泛化层级之间的距离。

设h为属性A可能泛化的最高层次,D1为值域,D2………Dn为泛化域,Wj,j-1为Dj与Dj-l(2 <= j <= h)之间的泛化权重。由Dp中的值泛化到Dq(p>q)中的值的距离定义为下,称之为泛化的加权层次距离。

如生日的泛化层级:

D/M/Y---->M/Y ---->Y---->*

对应的泛化域

D4---->D3---->D2---->D1

当权值都为1时,D/M/Y层泛化到Y层的加权层次距离为: WHD(4,2)=(1+1)/1+1+1=0.67,67。但是,它没有反映出不同泛化层的泛化的差异,如“1970/02/28”泛化成“1970/02/*”,对应的加权层次距离为0.33, “1970/02/*’泛化成“1970/*/*”,加权层次距离仍为0.33,而后一种的失真程度显然比前一种的大。

重新定义泛化权重Wj,j-1=1/(j-1)^β,可以简单的定义β=1,

此时W4,3=1/3,W3,2=1/2,W2,1=1,

这种定义则能反映不同泛化层的泛化的差异。比如:生日属性的泛化层次为D/M/Y---->M/Y ---->Y---->*,从D/M/Y层泛 化到M/Y层的加权层次距离WHD(4,3)=(1/3)/(1/3+1/2+1)=0.18。而从Y泛化到*的加权层级距离

WHD(2,1)=(1/1)/(1/3+1/2+1)=0.55。

(3)元组之间的失真度:

例如元组{china,少年,男性},对应的属性泛化级分别为{国家,东西半球,大洲,地球}和{少年,青少年,人},则元组t={china,青年,男性}与其泛化元组t´={East,青少年,男性}之间的失真度为

Distortion = WHD(level(v1), level(v1´)) + WHD(level(v2), level(v2´))

           =1/3 + 1/2 = 5/6

(4)数据表之间的失真度:

将每个元组与其最终的泛化表之间求加权层次距离WHD,再累加求和,即为数据表之间的失真度。

(5)元组之间的距离

即两个元组与离他们最近的泛化集之间的距离的和 

KACA算法

(1)步骤 

(2)实例

以KACA的2-匿名为例,数据集如下图所示。

Step1:将数据集D分成4个等价类,等价类各元组在准标识符上值相等

Step2:随机选取一个大小 < 2的等价类,取第2组,距离第2组最近的等价类是第3组,将第2组和第3组合并为一类,并泛化。

Step3:循环,不存在元组个数小于2的等价类。程序返回处理后的匿名表

全局算法 VS 局部算法

  

可见,局部算法的失真度更小。

k-匿名存在的缺陷

K-匿名技术能保证以下三点:

  • 攻击者无法知道某特定个人是否在公开的数据中
  • 给定一个人,攻击者无法确认他是否有某项敏感属性
  • 攻击者无法确认某条数据对应的是哪个人

K-匿名技术虽然可以阻止身份信息的公开,但无法防止属性信息的公开,导致其无法抵抗同质攻击,背景知识攻击,补充数据攻击等情况。

(一)同质攻击(homogeneity attack)

指某个k-匿名组内对应的敏感属性的值也完全相同,这使得攻击者可以轻易获取想要的信息。如在在上图中,第1-2条记录的敏感数据是一致的,因此这时候k-匿名就失效了。观察者只要知道表中某一用户的ZIP Code是435*,性别为男,就可以确定他有脑溢血。

(二)背景攻击(background knowledge attack)

k-匿名组内的敏感属性值并不相同,攻击者也有可能依据其已有的背景知识以高概率获取到其隐私信息

如果观察者通过ZIP Code和性别确定用户Carl在上图等价类1中,如果没有额外的信息,攻击者无法确定carl患的是心脏病还是脑溢血。但是攻击者知道carl在日本,而日本地区的心脏病发病率很低,那么他就可以确定Carl有脑溢血。

(三)补充数据攻击

当公开的数据有多种类型,如果他们的K-匿名方法不同,那么攻击者可以通过关联多种数据推测用户信息。

### k匿名算法的Python实现 为了达到k-匿名的要求,即确保每个群体至少有k个个体无法被区分,可以采用多种策略和技术。一种常见的做法是对数据集进行泛化和抑制处理。 下面是一个基于Mondrian多维K-匿名化的简化版本,在项目根目录下可以通过特定脚本启动该算法[^2]: ```bash python anonymizer.py ``` 对于更具体的实现细节,考虑如下示例代码,它展示了如何利用`pandas`库对数据框中的某些列应用裁剪操作以满足k-匿名条件[^4]: ```python import numpy as np import pandas as pd def clip_data_for_k_anonymity(dataframe, column_limits): """ 对给定的数据帧按照指定字段的最大最小值限制来进行裁剪, 从而帮助实现k-anonymity. 参数: dataframe (pd.DataFrame): 输入待处理的数据集合. column_limits (dict): 字典形式存储每列对应的上下限, 如 {'age': [min_age, max_age]}. 返回: pd.DataFrame: 经过裁剪后的数据集. """ clipped_df = dataframe.copy() for col_name, limits in column_limits.items(): min_val, max_val = limits clipped_df[col_name] = dataframe[col_name].clip(lower=min_val, upper=max_val) return clipped_df # 假设我们有一个包含个人记录的数据表 data = { 'id': [1, 2, 3], 'age': [28, 90, 45], 'education_level': ['high', 'low', 'medium'] } df = pd.DataFrame(data) # 定义各属性的安全范围 limits = { 'age': [18, 60], # 年龄应在合理范围内 'education_level': [-np.inf, np.inf] # 教育程度不做特别限定 } clipped_dataframe = clip_data_for_k_anonymity(df, limits) print(clipped_dataframe) ``` 上述例子中定义了一个名为`clip_data_for_k_anonymity()`的功能函数用于调整敏感数值到预设区间内;同时保持非敏感信息不变。这有助于保护隐私的同时尽可能减少有用信息损失。 此外,还可以使用lambda表达式创建简单的匿名函数来快速完成一些临时性的转换任务[^3]: ```python ages_squared = list(map(lambda age: age * age if 18 <= age <= 60 else None, df['age'])) print(ages_squared) ``` 这里展示的是将符合条件(介于18至60之间)的人群年龄平方计算出来作为新的特征向量的一部分,而不适合的对象则标记为空缺值None。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值