K-匿名算法

在大数据的时代,很多机构需要面向公众或研究者发布其收集的数据,例如医疗数据,地区政务数据等。这些数据中往往包含了个人用户或企业用户的隐私数据,这要求发布机构在发布前对数据进行脱敏处理。K匿名算法是比较通用的一种数据脱敏方法。

K-匿名的基本概念

为解决链接攻击所导致的隐私泄露问题,引入k-匿名 (k-anonymity) 方法。k-匿名通过概括(对数据进行更加概括、抽象的描述)和隐匿(不发布某些数据项)技术,发布精度较低的数据,使得同一个准标识符至少有k条记录,使观察者无法通过准标识符连接记录。

  • 概括(Generalization):指对数据进行更加概括、抽象的描述,使得无法区分具体数值,例如年龄这个数据组,概括成一个年龄段(例如上表中的>=40岁)。
  • 隐匿(Suppression):指不发布某些信息,例如上表中的用*号替换邮编的末三位。通过降低发布数据的精度,使得每条记录至少与数据表中其他的K-1条记录具有完全相同的准标识符属性值,从而降低链接攻击所导致的隐私泄露风险。

原表虽然隐去了姓名,但是攻击者通过邮编和年纪,依然可以定位一条记录,经过k匿名后,对邮编和年纪做以抽象,攻击者即使知道某一用户的具体邮编为47906,年龄47,也无法确定用户患哪一种病。上图的同一个准标识符{邮编,年纪}至少有3条记录,所以为3匿名模型。

k匿名模型的实施,使得观察者无法以高于1/k​的置信度通过准标识符来识别用户。

K-匿名算法实践

(一)泛化技术分类

K-匿名算法按照泛化范围,可以分为全局算法和局部算法。

全局算法:

在整个属性列上进行泛化,如把邮编最后3位数隐匿,这种泛化会带来很高的信息损失,因为原始数据表中的数据的分布不平均,存在一些有孤 立的数据,要想满足匿名化的条件,就要把整个数据表一遍又一遍的泛化,直到所有的 准标示符属性泛化之后得到的组合能够在相对应的泛化层次中找到,因此造成了数据表的泛化过度,产生不必要的泛化,信息失真度较大。为了解决这一问题,减少数据的损失量,学术界将研究目标全域重新编码算法转移到了局部重新编码算法。

局部算法:

将同属性列中的元素泛化到不同的等级,在单个元组上对,准标示符属性值进行泛化处理的,它将同一个准标示符属性列之中,不同个体的属性值泛化到相对独立的不同泛化层次结构中,这样就不会造成数据表的过度泛化, 将匿名表中的数据损失量控制到最小。

减少了数据损失量。

(二)Datafly算法

算法实施:

  1. 对每个准标识符属性的取值个数进行统计,取出统计值最大的准标识符进行一个层级的泛化。
  2. 对泛化后的表格进行k匿名检测。
  3. 如果泛化后的数据表符合k匿名检测,则输出,如果不符合,goto 1

以下图为例:

Step1:邮编属性个数为4,对其进行泛化

Step2:泛化结果如图所示,对其进行匿名检测,不符合匿名规则, goto 1

Step3:年龄属性个数为3,对其进行泛化

Step4:泛化结果如图所示,对其进行匿名检测,第4条记录可以唯一确定一条信息,不符合匿名规则 goto 1

Step5:年龄属性个数为2,对其进行泛化

符合2-匿名规则,输出次表格。

(三)KACA算法

(k-Anonymity by Clustering in Attribute)

基本概念

(1)数值之间的距离

如:最大号码123456,最小号码1*****,电话号码123456,与电话号码123455之间的距离为

(123456-123455)/ 123456 == 1/123456,可以看出123456与123455之间距离很小

其中A(vi,vj)代表分类树中以vi和vj的最小公共祖先为根的子树,H(T)表示分类树T的高度。

图中Asia,与American的距离为1/3,china和Mexico的距离为3/3,显然Asia与American的距离更近。 

(2)泛化的加权层次距离

泛化的加权层次距离:Weighted hierarchical distance,反应不同的泛化层级之间的距离。

设h为属性A可能泛化的最高层次,D1为值域,D2………Dn为泛化域,Wj,j-1为Dj与Dj-l(2 <= j <= h)之间的泛化权重。由Dp中的值泛化到Dq(p>q)中的值的距离定义为下,称之为泛化的加权层次距离。

如生日的泛化层级:

D/M/Y---->M/Y ---->Y---->*

对应的泛化域

D4---->D3---->D2---->D1

当权值都为1时,D/M/Y层泛化到Y层的加权层次距离为: WHD(4,2)=(1+1)/1+1+1=0.67,67。但是,它没有反映出不同泛化层的泛化的差异,如“1970/02/28”泛化成“1970/02/*”,对应的加权层次距离为0.33, “1970/02/*’泛化成“1970/*/*”,加权层次距离仍为0.33,而后一种的失真程度显然比前一种的大。

重新定义泛化权重Wj,j-1=1/(j-1)^β,可以简单的定义β=1,

此时W4,3=1/3,W3,2=1/2,W2,1=1,

这种定义则能反映不同泛化层的泛化的差异。比如:生日属性的泛化层次为D/M/Y---->M/Y ---->Y---->*,从D/M/Y层泛 化到M/Y层的加权层次距离WHD(4,3)=(1/3)/(1/3+1/2+1)=0.18。而从Y泛化到*的加权层级距离

WHD(2,1)=(1/1)/(1/3+1/2+1)=0.55。

(3)元组之间的失真度:

例如元组{china,少年,男性},对应的属性泛化级分别为{国家,东西半球,大洲,地球}和{少年,青少年,人},则元组t={china,青年,男性}与其泛化元组t´={East,青少年,男性}之间的失真度为

Distortion = WHD(level(v1), level(v1´)) + WHD(level(v2), level(v2´))

           =1/3 + 1/2 = 5/6

(4)数据表之间的失真度:

将每个元组与其最终的泛化表之间求加权层次距离WHD,再累加求和,即为数据表之间的失真度。

(5)元组之间的距离

即两个元组与离他们最近的泛化集之间的距离的和 

KACA算法

(1)步骤 

(2)实例

以KACA的2-匿名为例,数据集如下图所示。

Step1:将数据集D分成4个等价类,等价类各元组在准标识符上值相等

Step2:随机选取一个大小 < 2的等价类,取第2组,距离第2组最近的等价类是第3组,将第2组和第3组合并为一类,并泛化。

Step3:循环,不存在元组个数小于2的等价类。程序返回处理后的匿名表

全局算法 VS 局部算法

  

可见,局部算法的失真度更小。

k-匿名存在的缺陷

K-匿名技术能保证以下三点:

  • 攻击者无法知道某特定个人是否在公开的数据中
  • 给定一个人,攻击者无法确认他是否有某项敏感属性
  • 攻击者无法确认某条数据对应的是哪个人

K-匿名技术虽然可以阻止身份信息的公开,但无法防止属性信息的公开,导致其无法抵抗同质攻击,背景知识攻击,补充数据攻击等情况。

(一)同质攻击(homogeneity attack)

指某个k-匿名组内对应的敏感属性的值也完全相同,这使得攻击者可以轻易获取想要的信息。如在在上图中,第1-2条记录的敏感数据是一致的,因此这时候k-匿名就失效了。观察者只要知道表中某一用户的ZIP Code是435*,性别为男,就可以确定他有脑溢血。

(二)背景攻击(background knowledge attack)

k-匿名组内的敏感属性值并不相同,攻击者也有可能依据其已有的背景知识以高概率获取到其隐私信息

如果观察者通过ZIP Code和性别确定用户Carl在上图等价类1中,如果没有额外的信息,攻击者无法确定carl患的是心脏病还是脑溢血。但是攻击者知道carl在日本,而日本地区的心脏病发病率很低,那么他就可以确定Carl有脑溢血。

(三)补充数据攻击

当公开的数据有多种类型,如果他们的K-匿名方法不同,那么攻击者可以通过关联多种数据推测用户信息。

  • 29
    点赞
  • 130
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
### 回答1: k-匿名算法是一种隐私保护技术,在数据发布中常用于保护个人敏感信息。Python是一种广泛使用的编程语言,适合实现k-匿名算法。"adult"数据集是一个经典的机器学习数据集,包含了关于个人特征的数据,适合用于实践k-匿名算法。 具体来说,k-匿名算法旨在通过将某些个体的属性值进行泛化或者抑制,使得每个群体中的个体属性变得相似,达到隐藏个体敏感信息的目的。在Python中,可以使用pandas和numpy等库来处理数据集。首先,需要导入数据集,然后使用适当的方法进行数据预处理和特征选择。之后,可以对数据进行分组,并根据k值要求对每个组的属性值进行泛化处理。 在adult数据集中,我们可以选择一些特征作为匿名化的依据,例如年龄、性别、教育程度等。对于每个特征的值,可以使用相应的泛化方法,例如将年龄划分为不同的年龄段,将教育程度划分为不同的高中、大学等级别。然后,可以根据k值,将群体划分为不同的等价类,使得在每个等价类中的个体具有相似的属性,从而增强数据的隐私性。 最后,为了验证k-匿名算法的效果,可以进行额外的实验和评估步骤。比如,可以使用算法来查询数据集中的某个特定个体,看是否能够识别出其真实身份。如果能够成功识别,则说明k-匿名算法的效果较差,需要进一步优化;反之,则说明k-匿名算法在保护个体隐私方面取得了一定的效果。 总之,通过使用Python实现k-匿名算法,我们可以在adult数据集上进行隐私保护实践,从而保护个体的敏感信息。这一技术的应用有助于在数据发布中平衡数据的可用性和隐私性。 ### 回答2: k-匿名算法是一种数据匿名化方法,旨在保护敏感数据的隐私。Python中有许多用于实现k-匿名算法的库,我们可以使用这些库来处理adult数据集。 adult数据集是一个经常用于机器学习和数据分析的开源数据集,其中包含一些关于个体收入水平与其他特征的信息。为了保护个人隐私,我们可以使用k-匿名算法对该数据集进行匿名化处理。 首先,我们需要使用Python的pandas库来读取adult数据集。然后,我们可以通过对数据进行预处理和特征选择来减少信息泄露的风险。这包括删除或脱敏敏感特征,并将其他特征进行分组,以便保护隐私。 接下来,我们可以使用任何可用的k-匿名算法库(如kanonymizer)将数据集进行匿名化处理。k-匿名算法会将数据集中的个体信息转化为具有k个不可区分的个体。这是通过通用化、泛化或削减特征值来实现的。 最后,我们可以将经过处理的数据保存为新的匿名化数据集,以便后续的分析和建模。 总之,使用Python中的k-匿名算法库可以很容易地对adult数据集进行匿名化处理。这样可以确保敏感数据的隐私,并降低数据泄露的风险。尽管k-匿名算法是一种有效的方法,但仍需注意保持数据的可用性和分析结果的准确性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值