![](https://img-blog.csdnimg.cn/20200312173251949.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Federated_Learning
文章平均质量分 62
联合学习或联邦学习。
南瓜派三蔬
这个作者很懒,什么都没留下…
展开
-
FATE | 官方入门教学视频——汇总
腾讯视频上可以搜索这些信息。【联邦学习FATE课程第一期】联邦学习技术介绍,应用,FATE开源框架 【联邦学习FATE课程第二期】快速部署FATE开发环境 【联邦学习FATE课程第三期】联邦学习FATE算法模块梳理【联邦学习FATE课程第四期】使用KubeFATE部署生产环境的联邦学习【联邦学习FATE课程第五期】FATE整体架构介绍与系统实践【联邦学习FATE课程第六期】联邦推荐算法及其应用...转载 2021-02-24 18:24:00 · 604 阅读 · 0 评论 -
FATE | 在线推理服务的使用和问题处理
文章目录1. 在线推理操作步骤1.1 配置文件设置1.2 推断单个样本-inference1.3 推断多个样本-batchInference2.遇到的问题2.1 remote rpc exception1. 在线推理操作步骤1.1 配置文件设置(1)load model 的模型配置文件修改vi fate_flow/examples/publish_load_model.json配置如下{ "initiator": { "party_id": "9999",原创 2021-02-19 10:12:11 · 1375 阅读 · 5 评论 -
FATE | 宿主机运行docker容器内的py文件
1. docker exec -it Container_ID /bin/bash -c ‘python temp.py’我在一些资料里看到这一个,然而并不好使,会报错,“python3” command not found原创 2020-12-07 20:22:23 · 848 阅读 · 0 评论 -
联合学习 | 纵向LR原理综述
【首先需要声明的是,这里面不少是我自己的理解,供参考;如果错了请指正】文章目录1.纵向LR的损失函数2.损失函数展开成多项式2.1 用到的泰勒展开式2.2 原损失函数展开并计算梯度3.关于同态加密4.纵向LR整体流程5.参考资料1.纵向LR的损失函数FATE的代码里和一些论文里,写的实现纵向LR训练的时候,损失函数都是:这个损失函数和我们常见的形式不太一样。怎么来的可以参考 标签为{+1,-1}时,逻辑回归损失函数推导。这种形式的损失函数的好处是,在多方联合计算损失函数的时候,怎么对各方结果原创 2020-11-23 19:16:55 · 739 阅读 · 1 评论 -
ML | 标签为{+1,-1}时,逻辑回归损失函数推导
文章目录1.标签为{0,1}损失函数推导2.标签为{+1,-1}损失函数推导2.1 似然函数2.2 损失函数1.标签为{0,1}损失函数推导参考资料:本部分资料来自这个链接网上搜到的多数是标签为0-1的时候,损失函数是可以看到上述似然函数用到一个技巧:把标签0-1的两种情况在似然函数里用一个式子统一起来。 在这个基础上进行推导就得到这个损失函数。2.标签为{+1,-1}损失函数推导2.1 似然函数纵向逻辑回归的一篇论文中,当标签为{+1,-1}时候,损失函数为:这样的好处是在纵向联合学原创 2020-11-23 13:20:49 · 2220 阅读 · 1 评论 -
FATE | 单机版fate-模型训练-测试步骤
1. 启动fate环境cd docker_standalone-fate-1.5.0_previewsudo bash install_standalone_docker.sh2.获得容器idsudo docker ps -aqf "name=fate_python"CONTAINER_ID="030409291d39"sudo docker exec -t -i ${CONTAINER_ID} bash3. 运行环境测试案例bash ./python/federatedml/test/原创 2020-11-10 11:09:12 · 2945 阅读 · 8 评论 -
纵向LR+同态加密+feature binning方法步骤
转自官方文档 FATE:新一代联邦学习技术及应用实战.PDF。—————————————图示———————————————————————————说明——————————————(一)算法步骤:(1)guest把 {idi, Encry(yi), Encry(1-yi)},发送给host;(2)host根据分箱情况,对于每个bin,计算{Encode(id_set_i),sum(Encry(yi)),sum(Encry(1-yi))}发送给guest;(3)guest根据同态加密和标签的特性(0原创 2020-11-05 17:49:08 · 843 阅读 · 0 评论 -
FATE | 集群版fate-模型训练-测试步骤
1. 进入并测试docker环境进入fate-docker环境$ docker exec -it confs-10000_python_1 bash测试系统是否正常$ cd /data/projects/fate/python/examples/toy_example/python run_toy_example.py 10000 9999 1若正常可以进行下一步;否则可以简单的重新部署:$ bash docker_deploy.sh all2. 纵向LR训练过程2.1 Host机原创 2020-11-03 10:58:42 · 2709 阅读 · 0 评论 -
FATE | ubuntu用KuteFATE在多台机器部署联合学习框架FATE——要点
【自己的理解和体验,可能有不对的地方,供新手参考,结合官方教程使用效果更佳】1. standalone-FATE、cluster-FATE、KubeFATE区别的个人理解Standalone-FATE:如字面意思,单击版本的FTAE,适合用来自己学习FATE;Cluster-FATE:字面意思是集群FATE,个人感觉更容易的理解是“多个party”联合训练的FATE,我们要进行真正的多台机器联合学习,要部署这种FATE;KubeFATE:它是在研发和测试环境下,用来部署集群FATE(Clust原创 2020-10-29 14:19:57 · 1565 阅读 · 1 评论 -
SMPC加密-计算平均值的-小例子-[有点神奇]
1. SMPC的概念全程为Secure Muti-party Computation,中问翻译为“多方安全计算”。可以用到联合学习的模型加密中。2. SMPC的应用场景比如有A、B、C三个单位,它们有三个模型。有一个中心节点,需要计算三个模型的平均值得到联合模型。但是怎么在不直接拿到ABC三个模型的实际参数的情况下,得到他们的平均值呢【这个有点神奇的】,其中一种技术就是SMPC。3. SMPC计算均值的小例子下述例子计算 A+B+C=22+44+35=97假设 有ABC三个人,他们各自有一个数原创 2020-09-02 21:08:23 · 1241 阅读 · 3 评论 -
pytorch实现多个模型的weights平均和修改weights
有3个结构相同但是weights不同的model组成一个list,models=[model1,model2,model3],还有一个中心模型fl_model,这四个模型的结构和超参数都相同。需要进行这样一种操作:平均models里面三个模型的weights,把平均之后的weights"赋值"给fl_model的weights。在tensorflow里可以直接用model.get_weights()和model.set_weights()来做,比较直观和方便。感觉pytorch里面稍微复杂一些。进行上述原创 2020-06-30 19:32:40 · 7943 阅读 · 17 评论