Pysyft学习笔记
文章平均质量分 72
Pysyft学习笔记,学习目标是开发一个基于FL的系统
一只特立独行的猫
转行web3中。。。
展开
-
pysyft框架中WebsocketClientWorker与WebsocketServerWorker的消息传输
pysyft是基于pytorch的一个联邦学习框架(虽然用起来很难受),通过内存管理实现联邦学习的模拟。在pysyft中,WebsocketServerWorker充当数据的提供方(数据存储方),而WebsocketClientWorker作为数据的使用方(指令提供方),通过WebsocketClientWorker以TCP连接的方式向WebsocketServerWorker请求服务,从而实现分布式训练。原创 2024-01-31 23:42:53 · 1204 阅读 · 0 评论 -
TenSEAL学习笔记二
文章目录Training and Evaluation of Logistic Regression on Encrypted DataDownload the coronary heart disease datasetInitialize datasetTraining a Logistic Regression ModelEncrypted EvaluationTraining an Encrypted Logistic Regression Model on Encrypted DataTrain原创 2022-02-11 18:16:09 · 2541 阅读 · 4 评论 -
TenSEAL学习笔记一
文章目录引言TenSEAL简介Homomorphic EncryptionTenSEALContextEncryption and Evaluation引言发现网上没有什么TenSEAL的学习笔记,只能看官方文档,所以打算根据官方文档和自己的一些理解写一下TenSEAL的学习笔记。TenSEAL简介Tutorial 0: Getting StartedWelcome to TenSEAL’s first tutorial of a serie aiming at introducinghomom原创 2022-02-11 14:52:33 · 3359 阅读 · 15 评论 -
Pandas学习速成笔记
文章目录下载pandas使用下载pandas这里不知道为什么用conda安装不行,只能用pip安装。pip install pandas使用panda的基本数据类型为DataFrame,是基于numpy的一种扩展结构。因为我是在处理csv文件的时候学习的pandas,所以就一处理csv格式文件为例。1.读入csv文件当csv文件没有列名时,可以通过name传参的形式定义列名 #列名 header_names = ['duration', 'protocol_type', 'servic原创 2022-01-20 18:32:57 · 973 阅读 · 0 评论 -
Pysyft学习笔记四:MINIST数据集下的联邦学习(并行训练与非并行训练)
目录手写数字识别模型(非并行训练)概述图导入基本包创建客户机设置训练参数初始化数据集搭建神经网络模型定义训练与测试函数定义主函数训练效果手写数字识别模型(并行训练)概述图经过前面几篇笔记的学习,基本上已经知道了联邦学习的基本代码框架。联邦学习也有两种实现方式,一种是C/S架构,服务器整合模型,一种是P2P架构,不需要第三方。现在先实现C/S架构下的横向联邦学习模型。大概处理过程如下:1.数据预处理,得到data_loader2.建立虚拟机,分配数据集3.初始化模型4.将模型发送给虚拟机5.指导原创 2022-01-19 09:11:27 · 4503 阅读 · 22 评论 -
Pysyft学习笔记三:分布式模型实现(Fed_avg算法整合模型)
导入包导入包,并初始化Hookimport torch import syft as syfrom torch import nnfrom torch import optimhook = sy.TorchHook(torch)构建客户机Bob = sy.VirtualWorker(hook,id='Bob')Alice = sy.VirtualWorker(hook,id='Alice')构建数据集自己随便想了一些数据来训练data = torch.tensor([[0,0原创 2022-01-17 13:20:38 · 1536 阅读 · 8 评论 -
Pysyft学习笔记二:伪分布式模型训练的实现
不熟悉send和get机制的小伙伴可以看一下我的上一篇博客:Pysyft学习笔记一:dome思路,然后再看这篇博客,效果会更好哦。导入基本库import torch #分布式训练import syft as sy#用于搭建神经网络from torch import nn#用于构造优化器from torch import optim#在torch上使用hook技术hook = sy.TorchHook(torch)创建客户机id可以理解为客户机的名称Bob = sy.Virtu原创 2022-01-17 10:19:50 · 1240 阅读 · 5 评论 -
Pysyft学习笔记一:dome思路
Pysyft是一个比较适合学习FL学习小白的开源框架,相比与FATE的高封装性,Pysyft提供了更高的自由度。虽然FATE确实加密算法等等的效果做的非常的好,但是我在Ubuntu下面捣鼓了两天,下载了Mysql,Redis等等的一堆东西,采用docker的方式来部署FATE,发现环境配置的难度实在太高了,像我这种小白,FL本来就不是很熟悉,还是Pysyft友好一些。记录一下Pysyft学习的心得因为Pysyft主要是用于分布式学习,所以我首先打算搞明白它是如何实现分布式的。先用syft模拟一下,syf原创 2022-01-16 21:32:43 · 2180 阅读 · 7 评论