[pysyft-001]联邦学习pysyft从入门到精通--安装

最新推荐文章于 2024-12-27 09:36:06 发布
最新推荐文章于 2024-12-27 09:36:06 发布
阅读量9.1k 收藏 36
点赞数 2
文章标签： 联邦学习 pysyft
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lizhe_dashuju/article/details/102883146
版权
本教程详细介绍了如何在CentOS上安装PySyft，一个用于隐私保护深度学习的框架。首先，通过Anaconda3安装conda，然后创建名为py3-syft的环境，并在其中安装必要的依赖，包括jupyter notebook、syft和scikit-learn。如果遇到导入错误，需要手动修改相应包的__init__.py文件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.github库地址
https://github.com/OpenMined/PySyft

2.论文
https://arxiv.org/pdf/1811.04017.pdf
A generic framework for privacy preserving deep learning

 

3.安装

在centos上安装。

先安装conda，然后再创建pysyft环境。


4.安装conda
wget https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.sh

bash Anaconda3-2019.03-Linux-x86_64.sh

yum install bzip2.x86_64 -y

安装路径是 /root/anaconda3

安装会修改/root/.bashrc文件内容
modified      /root/.bashrc

5. 启动conda环境
source /root/.bashrc


6.在conda安装pysyft

创建py3-syft环境
conda create -n py3-syft python=3.7 --yes
conda activate py3-syft
conda install jupyter notebook
pip install syft[udacity] scikit-learn
 

#注意，如果有问题，使用豆瓣源，也就是
pip install syft[udacity] -i https://pypi.doubanio.com/simple/

7.第一个测试程序


                

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    

      

        

            

              
                
                  未济2019
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
PyTorch 深度学习实战（33）：联邦学习与隐私保护

				
			

			

				

					m0_60414444的博客
				

				

					04-03
					
					1159
					
				

			

		

		

			
				
return x本文实现了基于PyTorch的联邦学习系统，并探讨了隐私保护机制。联邦学习作为隐私保护机器学习的重要方向，正在多个领域展现出巨大潜力。关键收获理解了联邦学习的基本原理和架构实现了包含简单加密的联邦平均算法掌握了处理非IID数据的方法了解了联邦学习中的隐私保护技术完整代码说明代码包含数据分区、模型定义、联邦训练全流程模拟了5个客户端协作训练CIFAR-10分类器实现了简单的加密通信演示（实际应用需要更强大的加密方案）在下一篇文章中，我们将探讨神经架构搜索（NAS）

			
		

	



                

            
              



	

		

			

				
					
[pysyft-002]联邦学习pysyft从入门到精通--三个节点训练一个线性分类器

				
			

			

				

					大数据和机器学习研究
				

				

					11-03
					
					4122
					
				

			

		

		

			
				
import syft as sy
import torch
from torch import nn
from torch import optim

"""
https://github.com/OpenMined/PySyft/blob/master/examples/tutorials/Part%2002%20-%20Intro%20to%20Federated%20Learning.i...

			
		

	



              


  
              

                


	

		

			

				
					
联邦学习框架PySyft的安装

				
			

			

				

					weixin_44379605的博客
				

				

					07-13
					
					1411
					
				

			

		

		

			
				
事先准备
下载安装Anaconda3
安装pysyft

conda安装

$ conda create -n pysyft python=3.8
$ conda activate pysyft
$ conda install jupyter notebook





			
		

	





	

		

			

				
					
联邦学习框架--Syft框架

				
			

			

				

					qq_56406979的博客
				

				

					07-05
					
					2135
					
				

			

		

		

			
				
syft是一个隐私保护的深度学习框架，核心的操作基于命令链和tensor。支持FL、MPC和差分隐私DP。PySyft是用于安全和隐私深度学习的Python库，它在主流深度学习框架（例如PyTorch和TensorFlow）中使用联邦学习，差分隐私和加密计算（例如多方计算（MPC）和同态加密（HE））将隐私数据与模型训练分离。

			
		

	



		

			
		



	

		

			

				
					
Pysyft学习笔记

				
			

			

				

					Yohuna的博客
				

				

					03-28
					
					6933
					
				

			

		

		

			
				
关于联邦学习框架Pysyft的学习笔记

			
		

	





	

		

			

				
					
联邦学习安装软件教程2

				
			

			

				

					ylycrp的博客
				

				

					02-05
					
					372
					
				

			

		

		

			
				
1.安装 torchmetrics


conda install -c conda-forge torchmetrics

2.安装 pytorch_lightning


pip install pytorch_lightning==1.0.0


不能直接安装最新版，不然pytorch的版本也要改变了


			
		

	





	

		

			

				
					
python联邦学习syft基本操作综合案例

				
			

			

				

					anxinbuxinan的博客
				

				

					10-16
					
					298
					
				

			

		

		

			
				
【代码】python联邦学习syft基本操作综合案例。

			
		

	





	

		

			

				
					
[pysyft-006]联邦学习pysyft从入门到精通--使用protocol

				
			

			

				

					大数据和机器学习研究
				

				

					11-07
					
					1779
					
				

			

		

		

			
				
import torch as th
import syft as sy


'''
Part 8 bis - Introduction to Protocols
http://localhost:8888/notebooks/git-home/github/PySyft/examples/tutorials/Part%2008%20bis%20-%20Introduction%20to%20P...

			
		

	





	

		

			

				
					
[pysyft-007]联邦学习pysyft从入门到精通--对数据进行加密并做运算

				
			

			

				

					大数据和机器学习研究
				

				

					11-11
					
					2644
					
				

			

		

		

			
				
import torch
import syft as sy


'''
Part 9 - Intro to Encrypted Programs
http://localhost:8888/notebooks/git-home/github/PySyft/examples/tutorials/Part%2009%20-%20Intro%20to%20Encrypted%20Programs.i...

			
		

	





	

		

			

				
					
[pysyft-004]联邦学习pysyft从入门到精通--三个节点训练CNN网络

				
			

			

				

					大数据和机器学习研究
				

				

					11-07
					
					3157
					
				

			

		

		

			
				
import torch
if torch.cuda.is_available():
        torch.set_default_tensor_type(torch.cuda.FloatTensor)
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torchvi...

			
		

	





	

		

			

				
					
python实现基于机器学习的情感分析系统的课题解析

				
			

			

				

					weixin_45207100的博客
				

				

					09-05
					
					187
					
				

			

		

		

			
				
一个基于机器学习的情感分析系统可以通过训练一个分类器来预测输入文本的情感。模型训练：使用特征和对应的情感标签训练一个机器学习模型。特征提取：从预处理的文本中提取特征，以便用于训练机器学习模型。数据可以是从各种来源获取的，如社交媒体文本、评论、新闻文章等。数据预处理：对收集到的数据进行预处理是必要的，以便将其转换为适合机器学习算法处理的形式。预处理步骤可能包括文本。模型评估：使用测试集评估训练好的模型的性能。模型应用：使用训练好的模型对新的文本进行情感分析预测。将文本输入模型，模型将返回预测的情感标签。

			
		

	





	

		

			

				
					
Python-深度强化学习的异步方法实现

				
			

			

				

					08-09
				

			

		

		

			
				
来自"深度强化学习的异步方法"的1-step Q Learning的Tensorflow   Keras   OpenAI Gym实现 

			
		

	





	

		

			

				
					
使用pysyft发送模型给带数据集的远端WebsocketServerWorker作联合训练

				
			

			

				

					ruiyiin的专栏
				

				

					05-09
					
					1437
					
				

			

		

		

			
				
WebsocketServerWorker端代码：start_worker.py
import argparse

import torch as th
from syft.workers.websocket_server import WebsocketServerWorker

import syft as sy

# Arguments
parser = argparse.ArgumentParser(description="Run websocket server worker.")
parser

			
		

	





	

		

			

				
					
联邦学习（Federated Learning）pytorch实现，超全注释

				
			

			

				

					qq_40277189的博客
				

				

					07-29
					
					2461
					
				

			

		

		

			
				
torch.nn.Module模块中的state_dict变量存放训练过程中需要学习的权重和偏置系数  state_dict本质上Python字典对象。在这里引入了三种数据集分配方式，分别是minist_iid，mnist_noniid和cifar_iid。这三个函数最终的输出都是dict_users，也就是一个字典，键值对分别为客户端编号和每个客户端所拥有的数据集标签。这里和集中式训练差不多，自定义包中的具体函数在使用时候再具体讲解。最后是损失绘图和测试，和集中式训练类似。和集中式训练一样，不再赘述。

			
		

	





	

		

			

				
					
PyTorch 实现联邦学习FedAvg （详解）

					
热门推荐

				
			

			

				

					qq_36018871的博客
				

				

					11-16
					
					3万+
					
				

			

		

		

			
				
PyTorch 实现联邦学习FedAvg （详解）

开始做第二个工作了，又把之前看的FedAvg的代码看了一遍。联邦学习好难啊…

1. 介绍
简单介绍一下FedAvg
FedAvg是一种分布式框架，允许多个用户同时训练一个机器学习模型。在训练过程中并不需要上传任何私有的数据到服务器。本地用户负责训练本地数据得到本地模型，中心服务器负责加权聚合本地模型，得到全局模型，经过多轮迭代后最终得到一个趋近于集中式机器学习结果的模型，有效地降低了传统机器学习源数据聚合带来的许多隐私风险。
(1) 首先用户用户从服务

			
		

	





	

		

			

				
					
基于PyTorch实现联邦学习的基本算法FedAvg

				
			

			

				

					KI的博客
				

				

					02-15
					
					6772
					
				

			

		

		

			
				
基于PyTorch实现联邦学习的基本算法FedAvg

			
		

	





	

		

			

				
					
开源项目推荐：基于PyTorch的联邦学习实现

					
最新发布

				
			

			

				

					gitblog_00617的博客
				

				

					12-27
					
					428
					
				

			

		

		

			
				
开源项目推荐：基于PyTorch的联邦学习实现

    
        
            Federated-Learning-PyTorch
            Implementation of Communication-Efficient Learning of Deep Networks from Decentralized Data
            
     ...

			
		

	





	

		

			

				
					
PySyft是将隐私引入深度学习模型的框架。

				
			

			

				

					weixin_26632369的博客
				

				

					07-20
					
					1139
					
				

			

		

		

			
				
Trust is a key factor in the implementation of deep learning applications. From training to optimization, the lifecycle of a deep learning model is tied to trusted data exchanges between different par...

			
		

	





	

		

			

				
					
Federated-Learning-PyTorch 开源项目教程

				
			

			

				

					gitblog_00061的博客
				

				

					08-08
					
					837
					
				

			

		

		

			
				
Federated-Learning-PyTorch 开源项目教程
 Federated-Learning-PyTorchImplementation of Communication-Efficient Learning of Deep Networks from Decentralized Data项目地址:https://gitcode.com/gh_mirrors/fe/Federated...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 23

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值