隐私计算从AI到BI：隐语SCQL数据分析引擎上线

VIP文章 已于 2023-04-03 18:25:29 修改
阅读量4.1k 收藏 7
点赞数 9
文章标签： 开源 算法
于 2023-04-03 17:36:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62488414/article/details/129934878
版权

3月29日，「隐语开源社区开放日」活动顺利举办。隐语社区不仅在当日正式开源隐语SCQL多方安全数据分析引擎，这是业内首个将 SQL 做到多方安全计算（MPC）技术的数据分析系统，提供工业级的多方安全联合分析功能，目前已在隐语 GitHub 社区开源，面向全球开发者免费开放推动隐私计算迈向更加易用，活动现场社区也广邀行业、企业、高校、科研的隐私计算开发者与使用者，开展了一场平等双向的开放交流。

社区互动零距离：小小便利贴 走近与聆听开发者的关注

社区在现场设置了开放留言及拍照打卡区，“全同态加密的效率问题，多久才能产品化？”“MPC SQL 的具体落地场景有哪些？”“隐私计算市场规模？人才需求？”留言内容从技术性能的突破、到产业应用的前景、

最低0.47元/天 解锁文章
活动通知
关注
  • 9
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
从AI到BI：隐语SCQL深度解读（附视频）
南七小僧的学海无涯
05-28 396
虽然在SCQL中没有明确把这一列选出，但是在计算时会根据hint，不会将这一列放到密文中去，因为已经允许别人选择，那么计算的过程当中，即使别人不把明文选出来，计算的时候明文计算肯定是没有问题的，即使对方看到也没有关系，所以CCL提供的hint可以帮助我们去做优化。计算引擎会先将DB的数据读出并进行计算，图中右下是SCQL计算引擎的架构，其中包含很多算子实现，也是明密文的混合，明文计算直接使用Arrow进行计算，密文使用隐语已经开源的SPU，如果大家对隐语有了解，就知道两个密态计算引擎完成这个计算。
智能卡数据库命令：SCQL
11-14
智能卡作为识别媒体从一开始就是典型的单个用户系统。然而，多功能智能卡的高度安全性和访问机制使 智能卡能用做多用户系统。当然，不应低估有关的成本和努力。为此，所需的加密保护机制的复杂性也将成 为关键。 　　这里的状况很类似于不同的文件结构的情况。原则上，用透明的文件结构也可以构造一个面向数据集合的 电话目录。但是，用线性可变的文件结构能工作得好一些。 　　这就是为什么数据库询问语言SQL（Structured Query Language）的一个子集合在ISO/IEC7816－7中被标 准化以用于智能卡的根本原因，并且已经被不同的操作系统供应商结合到产品中去了。规定在ISO/IEC 9075
融合评论分析和隐语义模型的视频推荐算法
02-25
针对网络视频元数据信息缺失严重和多媒体数据本身特征难以提取等问题，提出了融合评论分析和隐语义模型的网络视频推荐算法。从视频评论入手，通过分析用户对不同视频的评论内容以判断其情感倾向并加以量化，继而构建用户对项目的虚拟评分矩阵，弥补了显式评分数据稀疏性问题。考虑到网络视频的多元性和高维度特性，为了深度挖掘用户对网络视频的潜在兴趣，针对虚拟评分矩阵采用隐语义模型( LFM) 对网络视频分类，在传统的用户—项目二元推荐系统基础之上添加虚拟类目信息以进一步发掘用户—类目—项目关联关系。实验在多重标准下进行，对 YouTube 评论集的实验表明，所提推荐方法获得了较高的推荐精度。
开源加速数据流通 盘点隐语一周年 Meetup 现场精彩瞬间
m0_69580723的博客
07-26 182
7 月 22 日，隐语开源社区一周年专场 Meetup 在上海举办，在上海市科学技术协会指导下，在上海开源信息技术协会、中国信通院云计算与大数据研究所、隐私计算联盟的支持下，与广大关注数据要素和隐私计算的兴趣人士、行业用户、技术开发者们，一起看、听、玩，不仅分享了周岁的喜悦与感悟，更围绕社区、技术、应用的未来展开了分享与交流。“人工智能的大模型，不管是大语言模型，还是多模态的 AIGC 模型，在很快的时间里将成为整个人类社会中最大的数据消费者，也将是数据最大的生产者。
隐私计算实训营学习七：隐语SCQL的架构详细拆解
Rain的博客
04-01 1036
因此提出CCL的多方数据分析安全保障模型，数据拥有方首先设置数据如何被使用的限制，若未通过CCL检查则直接被拒绝，若通过再由审核员确认，减轻审核员负担。例如：Alice对Bob的约束为，Alice table A的salary字段对Bob的权限必须经过聚合操作(sum/avg/min/max)后才能对Bob可见。数据需要出域，数据方首先将数据加密上传到可信执行环境里，可信执行环境能够保证数据安全，在可信执行环境进行计算。数据不需要出域，数据拥有方需要部署计算节点，通过MPC协议进行计算。
「隐语开源社区开放日」全场精华合集（附视频+原文稿件）
m0_69580723的博客
04-06 538
为推动隐私计算行业生态连通、应用发展，「隐语开源社区开放日」活动于3月29日顺利举办。此次，隐语开源社区携手中国信通院云计算与大数据研究所、深圳国家金融科技测评中心、机器之心、隐私计算联盟开源工作组以及开源中国：不仅现场版开源隐语SCQL多方安全数据分析引擎，面向全球开发者免费开放，也广邀行业、企业、高校、科研的隐私计算开发者与使用者，开展了一场平等双向的开放交流。 浙江大学求是讲席教授、ACM/IEEE Fellow任奎为活动致辞，以数据要素为切入点，强调当前隐私安全是责任也是核心竞争力，隐私计
从“大数据”到“小数据〞，“隐语”开源SCQL助力不同规模数据安全分析
CSDN云计算
03-29 533
从"大数据”到“小数据〞，“隐语”开源SCQL助力不同规模数据安全分析
从AI到BI：隐语SCQL深度解读
m0_69580723的博客
04-03 373
隐语社区正式开源SCQL引擎，在工业界首次实现了隐私数据从Al到BI分析，是隐语走向易用的重要一步！下文为隐语框架负责人王磊在活动现场的分享内容。
揭秘SCQL：隐私计算的未来之路
qq_51447436的博客
04-05 833
揭秘SCQL：隐私计算的未来之路
20240401笔记：隐语SCQL的架构详细拆解
u012929863的博客
04-02 267
一种约束机制，确保所有数据在使用过程中严格满足约束条件ccl的使用和具体例子。
隐语开源社区「2022年度开源报告」
m0_69580723的博客
01-13 943
2022是隐语开源的第一年，从正式发布到第一次功能调研、issue数突破150+、GitHub千星、第一个开发者PR，在提升广大开发者归属感、参与感、荣誉感等方面，社区在6个月的探索中被鼓励、被指正、也被启发，虽然还没满周岁，但是新年的仪式感不能少，汇总梳理此份报告与大家回头看、向前走，共同走向开发者自治的社区。自开源发布，隐语保持着平均2月/次的版本更新频次，并尝试通过搭配体验工具、交互教程、同期活动等形式辅助开发者加深对新功能的理解与感知。
隐语 secretflow 是由蚂蚁发起的隐私计算通用框架
04-06
隐语 secretflow 是由蚂蚁发起的隐私计算通用框架，本仓库mirror自github对应仓库，更新时效可能有延时。SecretFlow是一个统一的框架，用于保护隐私的数据智能和机器学习。为了实现这个目标，它提供了以下内容：抽象...
secretflow 是由蚂蚁发起的隐私计算通用框架
04-14
隐语 secretflow 是由蚂蚁发起的隐私计算通用框架，本仓库mirror自github对应仓库，更新时效可能有延时。
安全协作查询语言 （SCQL） 是一种将 SQL 语句转换为安全多方计算 （SMC） 基元并在数据库系统联合上执行它们的系统
12-16
安全协作查询语言 （SCQL） 是一种将 SQL 语句转换为安全多方计算 （SMC） 基元并在数据库系统联合上执行它们的系统。 隐语的MPC SQL数据分析引擎，提供SQL语法的多方安全联合的数据分析能力。
基于隐语义模型的学生选课推荐算法.pdf
11-16
基于隐语义模型的学生选课推荐算法.pdf
隐语SCQL下载遇到的问题（自留）
m0_73561091的博客
04-10 171
/scdbclient prompt --host=http://host.docker.internal:8080 --usersConfFileName=examples/docker-compose/client/users.json --sync就可以了。综上，第一次自己完整的下吧，又是刚开源不久的，解决方法也没有什么，真的好麻烦，也花了超多时间精力，但下好了还是很开心，希望对其它被奇怪的东东卡住的人有点帮助吧。问题：.sh文件在Windows上的编译方式与在mac上不同。
DLRover：蚂蚁集团开源的AI训练革命
最新发布
人工智能前沿分享
05-20 218
它能够恢复失败的参数服务器和工作节点，自动启动具有更多内存的Pod以恢复内存不足的节点，重新分配失败工作节点的训练数据给其他工作节点，并根据模型大小自动扩展参数服务器。在蚂蚁集团的实践中，DLRover 管理着每天数百个深度学习训练作业，除代码错误导致的失败作业外，作业完成率从使用 KubeFlow 中的 tf-operator 的89%提高到了95%。与传统的检查点操作相比，Flash Checkpoint 允许训练过程更频繁地保存检查点，并且在发生故障时，可以减少从最新检查点恢复训练所需的回滚步骤。
开源可视化表单服务商：提升自主研发 助力流程化办公！
Gzlcxxjs的博客
05-14 287
想要实现流程化办公，欢迎随时来了解低代码技术平台、开源可视化表单的更多优势特点。
隐语框架配合TEE实现数据加密
09-01
隐语框架与TEE（可信执行环境）的配合可以实现数据加密。隐语框架主要解决的是数据隐私保护和安全计算的问题，而TEE是一种安全的硬件或软件环境，可以提供可信的执行环境来保护数据和计算过程的安全性。通过将隐语框架与TEE结合，可以实现数据在计算过程中的加密和保护。 在隐语框架中，数据可以使用全密态计算或明密文混合计算的方式进行加密。全密态计算是一种在密文环境中进行计算的方式，数据在计算过程中一直保持加密状态，可以使用Secure Aggregation算法、MPC密态引擎、同态加密等技术来进行计算。而明密文混合计算则是将部分计算从密文环境搬到明文环境，在明文环境中进行计算可以提升计算的性能，同时通过安全退让来保证数据的安全性。 TEE提供了一个可信的执行环境，可以保护计算过程中的数据和代码安全。在隐语框架中，可以使用TEE来实现数据的加密和解密操作，以及进行安全计算。TEE可以提供硬件级的安全保护，例如Intel SGX和ARM TrustZone等，也可以通过软件模拟的方式提供安全执行环境。 通过隐语框架配合TEE实现数据加密，可以在保护数据隐私的前提下，进行安全的计算和数据交换。这种组合可以应用于各种场景，例如联邦学习、数据交易市场等，为数据安全和隐私保护提供了一种可行的解决方案。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [隐私计算技术｜深度解读可信隐私计算框架“隐语”](https://blog.csdn.net/m0_69580723/article/details/126662952)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值