隐私计算
文章平均质量分 94
秃顶的码农
杜宝坤,隐私计算行业从业者,从0到1带领团队构建了京东的联邦学习解决方案9N-FL,同时主导了联邦学习框架与联邦开门红业务。框架层面:实现了电商营销领域支持超大规模的工业化联邦学习解决方案,支持超大规模样本PSI隐私对齐、安全的树模型与神经网络模型等众多模型支持。业务层面:实现了业务侧的开门红业务落地,开创了新的业务增长点,产生了显著的业务经济效益。
个人比较喜欢学习新东西,乐于钻研技术。基于从全链路思考与决策技术规划的考量,研究的领域比较多,从工程架构、大数据到机器学习算法与算法框架均有涉及。欢迎喜欢技术的同学和我交流。
同名公众号:秃顶的码农
展开
-
隐私计算加密技术基础系列-Diffie–Hellman key exchange
本系列文章将会重点描述下非对称加密即公钥加密的开山之作Diffie–Hellman key exchange。本文内容涉及到数学里面的数论相关知识,针对加密算法会用到的知识,本章会做些适当的介绍原创 2022-04-13 19:38:46 · 887 阅读 · 0 评论 -
隐私计算基础组件系列-概述
本文介绍隐私计算基础组件,包含同态加密 秘密分享 差分隐私等原创 2022-04-04 21:59:05 · 5379 阅读 · 0 评论 -
隐私计算加密技术基础系列(上)
1 密码学1.1 背景隐私计算(Privacy-preserving computation)是指在保证数据提供方不泄露原始数据的前提下,对数据进行分析计算的一系列信息技术,保障数据在流通与融合过程中的**“可用不可见”。 Gartner发布的2021年前沿科技战略趋势中,将隐私计算(其称为隐私增强计算)列为未来几年科技发展的九大趋势**之一。 (数据流通需求推动隐私计算势头火热) 但仍存在诸多阻碍。2021年被称为隐私计算的元年,这门技术是门综合性非常强的领域,涉及到众多方向,比如密码学、数学、大原创 2022-02-04 11:28:27 · 5932 阅读 · 0 评论 -
隐私计算加密技术基础系列(中)-RSA加密解析
1 隐私计算基座-密码学1.1 隐私计算背景隐私计算(Privacy-preserving computation)是指在保证数据提供方不泄露原始数据的前提下,对数据进行分析计算的一系列信息技术,保障数据在流通与融合过程中的**“可用不可见”。 Gartner发布的2021年前沿科技战略趋势中,将隐私计算(其称为隐私增强计算)列为未来几年科技发展的九大趋势**之一。 (数据流通需求推动隐私计算势头火热) 但仍存在诸多阻碍。2021年被称为隐私计算的元年,这门技术是门综合性非常强的领域,涉及到众多方向原创 2022-02-07 17:47:11 · 4199 阅读 · 0 评论 -
隐私计算加密技术基础系列(下)对称与非对称加密的应用场景
本章是《隐私计算加密技术基础》系列文章的最后一篇,感慨下,终于写完了,这个春节假期除了陪家人就是写着三篇文章了。其实写之前并没有觉得是多么难的事情,感觉这些原理自己都比较清楚,但是随着写的过程中,却发现自己有些确实理解的不是非常到位,看来有些知识是需要通过花更多的时间来锤炼的原创 2022-02-09 09:27:57 · 1216 阅读 · 0 评论 -
隐私计算-密码学-同态加密
文章目录1 隐私计算综述2 隐私计算发展史3 加密技术概述4 同态加密的历史5 什么是同态加密6 同态加密的定义6.1 场景定义6.2 核心流程6.3 HE的分类7 同态加密库Paillier7.1 Paillier算法7.2 秘钥生成7.3 明文加密7.4 密文解密7.5 相关代码8 参考资料9 番外篇1 隐私计算综述近年来,随着大数据与人工智能的盛行,针对个人的个性化的推荐技术的不断发展,人们在享受便利的同时,也深深的感觉到无处不在的监控与监事,比如刚刚浏览了一个网站的商品,当去其他网站访问的时候原创 2021-12-08 08:41:23 · 2289 阅读 · 0 评论 -
隐私计算秘密学-秘密分享
1 背景最近几年,基于法律法规对于用户隐私的立法以及用户对于隐私的认知增强,对于数据的“采 传 存 算的模式”都提出了巨大的考验与挑战,甚至以往的数据运作模式都存在被颠覆的可能,需要相应的前瞻性布局,因此这几年隐私计算技术的发展如火如荼,各大公司争相投入重兵。在欧洲,2016 年发布、2018 年开始强制执行的《通用数据保护条例》(General Data Protection Regulation, GDPR)涵盖范围广、保护要求严格,甫一推行就引发了科技公司的密切关注。美国统一法律委员会(UL原创 2022-01-29 09:29:24 · 1379 阅读 · 0 评论 -
隐私计算之差分隐私-Laplace机制
1 背景在这个信息膨胀的大数据智能时代,如何安全获取与使用个人的相关数据,渐渐成为迫切需要解决的问题。基于大数据的人工智能应用层出不穷,每个人都感觉自己在被时刻的跟踪,感觉在整个网络面前没有丝毫的隐私。没有人希望自己连生个病、上个网或者买件衣服都会被人随意知晓,更别提手机里的若干自拍了。最开始的时候,人们对个人信息数据采用“匿名化“的方式进行使用,并且认为这样是安全与可靠的,很不幸,发生了几件重大的事件,给数据的安全使用敲响了警钟。20世纪最著名的用户隐私泄漏事件发生在美国马萨诸塞州。该州集团保险委原创 2022-01-23 00:35:09 · 2406 阅读 · 6 评论 -
差分隐私-Laplace实现
从差分隐私到联邦学习在计算性能与效果性能进行了一些平衡,所以很好的应用到了现实中的场景中。并且在近年内大放异彩。本文主要介绍差分隐私。原创 2021-11-19 10:28:03 · 4046 阅读 · 0 评论 -
联邦学习概要
蓦然回首,发现写了很多联邦学习方面的文章,但是没有写一篇联邦学习方面的介绍性的综述,所以写了这篇文章,从整体介绍下联邦学习的背景、联邦学习的简介、隐私保护技术与营销应用场景。▌联邦学习背景数据是AI的石油,加速了AI的高速发展,但是同时多维度高质量的数据是制约其进一步发展的瓶颈。由于用户隐私、商业机密、法律法规监管等原因,造成大量信息孤岛,导致各个组织与机构无法将原始数据整合在一起,进而联合训练训练一个效果更好的信息密度更大、能力更强的大模型,严重制约了AI的发展。 图1 数据孤岛▌.原创 2022-01-02 20:31:47 · 1897 阅读 · 0 评论 -
联邦学习样本对齐之隐私集合交集RSA加盲
联邦学习样本对齐之隐私集合交集RSA加盲1 联邦学习背景鉴于数据隐私的重要性,国内外对于数据的保护意识逐步加强。2018年欧盟发布了《通用数据保护条例》(GDPR),我国国家互联网信息办公室起草的《数据安全管理办法(征求意见稿)》因此数据在安全合规的前提下自由流动,成了大势所趋。这些法律法规的出台,不同程度的对人工智能传统处理数据的方式提出更多的挑战。AI高度发展的今天,多维度高质量的是制约其进一步发展的瓶颈。随着各个组织对于数据的重视程度的不断提升,跨组织以及组织内部不同部门之间的数据合作将变得越来原创 2021-11-01 19:05:33 · 1558 阅读 · 10 评论 -
联邦学习-安全树模型SecureBoost之Decision Tree
联邦学习-安全树模型 SecureBoost之Desicion Tree文章目录联邦学习-安全树模型 SecureBoost之Desicion Tree1 联邦学习背景2 Decision Tree2.1 决策树的定义2.2 决策树基础2.2.1 熵2.2.2 条件熵2.2.3 信息增益2.3 剪枝策略2.4 ID3算法2.4.1 ID3算法构建决策树方案2.4.2 ID3算法优缺点总结2.5 C4.5算法2.5.1 C4.5算法构建决策树方案2.5.2 C4.5算法优缺点总结2.6 CART算法2.6.原创 2021-10-31 11:11:44 · 3694 阅读 · 0 评论 -
# 联邦学习-安全树模型 SecureBoost之集成学习
文章目录1 联邦学习背景2 联邦学习树模型方案3 Ensemble Learning3.1 集成学习3.2 Bagging & Boosting3.2.1 Bagging (bootstrap aggregating)3.2.2 Boosting3.2.3 Bagging,Boosting二者之间的区别4 GBDT4.1 GDBT定义4.2 GBDT推导过程6 参考资料9 精彩分享1 联邦学习背景鉴于数据隐私的重要性,国内外对于数据的保护意识逐步加强。2018年欧盟发布了《通用数据保护条例》(G原创 2021-11-21 21:50:54 · 6181 阅读 · 0 评论 -
联邦学习-安全树模型 SecureBoost之XGBoost
文章目录1 联邦学习背景2 联邦学习树模型方案3 Ensemble Learning3.1 集成学习3.2 Bagging & Boosting3.2.1 Bagging (bootstrap aggregating)3.2.2 Boosting3.2.3 Bagging,Boosting二者之间的区别4 GBDT5 Xgboost7 参考资料9 精彩分享1 联邦学习背景鉴于数据隐私的重要性,国内外对于数据的保护意识逐步加强。2018年欧盟发布了《通用数据保护条例》(GDPR),我国国家互联网信原创 2021-11-24 20:14:03 · 2017 阅读 · 0 评论 -
联邦学习-安全树模型 SecureBoost之终章
文章目录1 联邦学习背景2 联邦学习的树模型方案3 认知方法论4 界定问题4.1 XGB推导回顾4.2 本质分析5 整体分析5.1 隐私加密5.2 哪里需要加密,如何加密6 全面分析6.1 全链路流程7 归纳推演8 参考资料9 番外篇1 联邦学习背景鉴于数据隐私的重要性,国内外对于数据的保护意识逐步加强。2018年欧盟发布了《通用数据保护条例》(GDPR),我国国家互联网信息办公室起草的《数据安全管理办法(征求意见稿)》因此数据在安全合规的前提下自由流动,成了大势所趋。这些法律法规的出台,不同程度的对人原创 2021-11-27 09:56:41 · 2553 阅读 · 3 评论