- 博客(14)
- 收藏
- 关注
原创 第八讲 SPU密态引擎
前端:支持主流AI前端,降低学习成本,复用AI前端能力编译器:隐私保护领域IR,复用AI编译器部分优化,加密计算的优化运行时:指令并行,数据并行,多种协议支持:两方,三方,四方,半诚实,恶意,安全协议可扩展多部署模式:面向虚拟设备编程,一次书写到处执行SPU:一个虚拟加密处理设备。
2024-08-13 16:56:34
246
原创 隐语 联邦学习 第九讲
联邦学习 第九讲先验知识大模型微调技术高效参数微调:只训练小部分的参数优点:显存占用少,训练速度快,更低的存储成本,精度和全量微调出于同一水平LoraP-Tunning V2联邦大模型微调架构可信执行环境TEE具有运算和存储功能,提供完整性和安全性的独立处理环境分配一块隔离的内存,所有敏感数据的计算都在这块内存中除了授权的接口,其他不能访问这块内存存在的安全问题:恶意服务端窃取微调参数并推断客户端数据恶意客户端通过微调参数以及向前e
2024-08-05 16:11:16
307
原创 隐语 垂直联邦学习
4.拆分并发送梯度,进行反向传播更新Fuse模型,更新Base模型。数据处理(离散值特征不能直接用到神经网络)和特征上的缩放。支持灵活的自定义模型结构且内置了部分拆分模型。2.前向传播:安全传输给有Label的一方。内置多种通信/计算优化和安全加强方法。3.融合,继续前向传播,计算Loss。1.数据对齐:保证用户是相同的。扰动 保证数据不会被反向猜测。数据加载对齐(各方持有几列)指定account效率。自定义数据预处理流程。
2024-08-05 11:29:13
327
原创 第八讲 SCQL使用
SCDB包含的内容:database ,user ,table ,privilege。project:多个参与方在协商一致后加入到同一个项目中进行安全数据分析。通过root账户,语法 时间戳,签名 公钥 地址 : 防止伪造身份攻击。数据表管理:管理参与分析的数据表的schema信息。权限信息管理:表字段的权限信息,特别是CCL信息。
2024-08-02 09:29:34
398
原创 隐语 第三期第七讲
参与方业务相同,但客户不同,多方合作训练模型特点:用户友好,功能完善 性能出色(优秀引擎完成本地计算,通信优化FLModel是统一接口三种Aggregator : PlainAggregator,SecureAggregator,SPUAggregatorStrategy(联邦策略):区别于分布式学习的方案的重要特点1.环境设置2.设置参与方3.下载数据(我是直接将数据解压并且放入容器中),得到指定目录(后面构建好模型后训练时会用到)4.构造自定义DataBuilder(单机开发)5.将DataBuilde
2024-07-30 11:32:05
399
原创 第六讲 逻辑回归与广义线性模型GLM开发实践
二分类问题:逻辑回归对数据进行二元分类:对病人进行疾病诊断预测某件事情发生的概率:预测一个用户变成付费用户的概率广义线性模型场景举例:风险保费预测,根据需要提供的保障责任,计算预期总索赔额两步建模:索赔次数*平均索赔金额什么是广义线性回归模型(GLM)?:线性预测器:n = β的转置 * x(可拟合)β是定义的未知参数:一个指数族分布作为响应变量Y的概率分布p(Y;θ)一阶优化器:SGD参数估计方法二阶优化器(迭代重加权最小二乘法)优点:初始化准确,收敛速度快,缺点:计算/通信复杂度高。
2024-07-30 09:44:55
261
原创 第五课 基于隐私保护的机器学习算法介绍
联邦表格数据的封装,DataFrame由多个参与方的数据块构成,支持数据水平、垂直切分和混合切分,分别对应 3 组API:HDataFrame、VDataFrame、MixDataFrame缺失值填充。
2024-07-22 14:10:07
145
原创 第九讲 隐语多方安全计算在安全核对的行业实践
第九讲 隐语多方安全计算在安全核对的行业实践业务背景对数据的使用:数据使用方法被明确规范,通过隐私计算做到数据可用不可见,可用不可得,数据不动价值动的方式流动数据。数据差异的来源: 环境问题 数据订正问题 代码BUG 应急操作 产品方案一键核对(把指标封装规则,隐私求交, 问题排查(模板,产生报告,两端一致率,不一致的原因)数据授权 - 核对任务(挑一家机构编写核对sql,发布运行) - 结果排查 xN家(逻辑高度一致,特色功能:有
2024-07-22 10:52:01
322
原创 第六讲 隐语PIR介绍及开发实践
用户查询服务端数据库中的数据,但服务端不知道用户查询的是哪些数据隐匿查询的分类:单服务器,多服务器实现位置:PIR功能封装PIR协议实现层基础组件层PIR调用接口:pir_setuppir_query。
2024-07-22 09:25:22
242
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人