什么是PyGrid?
PyGrid(也称为Grid)是一个面向数据所有者和数据科学家的协作网络平台,他们可以使用PySyft库集体训练和共享AI模型,该库扩展了PyTorch和Tensorflow等深度学习库。
介绍内容包括
1、介绍
2、目标
3、实作
介绍
PyGrid平台旨在成为用于训练,管理和共享模型的安全对等平台。网格是可以透明地交换消息和张量的工作人员的集合。
GRID当前支持:
像您通常在远程工作人员之间交换消息,通常将PySyft与虚拟工作人员一起使用
机器学习即服务(MLaaS):使用Grid托管和查询模型
加密机器学习即服务(EMLaaS):使用Grid托管和查询加密模型
支持在Heroku上部署和运行工作人员
GRID将很快支持:
联合学习过程,无需直接管理分布式工作人员。
目标
创建一个安全的联合学习平台
1、保护知识产权(IP)
2、保护数据隐私
3、 减轻模型滥用
创建协作式联合学习平台
1、允许用户发送纯文本/匿名数据集,供Grid平台上的其他用户使用
2、允许用户发送可被Grid平台上的其他用户使用/改进的纯文本/匿名模型
3、使用Grid平台上可用的数据集执行联合学习
以安全的方式服务模型
1、在Grid网络上托管的模型上运行远程纯文本/匿名推断
2、下载托管在Grid网络上的模型
3、使用匿名数据集执行任意算术/逻辑计算
4、提供容错能力
实作
PyGrid代码仓库库主要包含2个文件夹:
应用程序
应用基本上是带有REDIS数据库的常规Flask服务器。我们向这些服务器添加了与Grid Worker进行对话,在数据库上存储tensor和模型以确保容错能力的功能。
应用程序与Grid worker进行通信。
网关
网关的工作方式类似于特殊的DNS组件,但它将通过查询而不是域名来路由节点。网格网关需要知道网格网络上连接的所有网格节点的地址和ID(所有彼此连接的工作人员)。
用户可以与Grid Gateway对话,并且似乎在多个远程节点上执行操作,甚至不知道它们在网络上是否存在。