【联邦学习Fate架构讲解】

1.联邦学习的网络架构

• P2P网络
  • 网络中的每个成员建议通信
• Star网络
  • 网络中的每个成员只需要和中心的exchange交换信息

2. FATE中的架构

2.1 EggRoll分布式计算和存储

• Egg Roll分布式计算和存储
  • 存储部分 storage service
  • 计算部分 processor
  • 管理 egg manager

2.2 FateBoard联邦建模可视化看板

2.3 FateFlow联邦任务调度

2.4 FederatedML联邦机器学习

2.5 FateServing联邦模型服务

2.6 PipeLine交互式客户端（重点）

• 类keras的用户建模编程界面，接口简单
• 与旧的通过配置json DSL方式比，对开发者友好，搭建Logistic Regression等经典应用核心代码十行内

2.6.1 导入使用的模块

from pipline.component import DataIO
from pipline.component import HeteroPoisson
from pipline.component import Intersection
from pipline.component import Reader

2.6.2 初始化组件的设置

• Component init：
  • name:标记这个组件的别名，如不设置，则由系统自动分配
  • Object(param1=,param2=,…)。此类参数代表所有的参与方使用同样的参数配置
  • get_party_instance(role,party_id=int or list).component_param,表示单独设置某个参与方的参数

dataio_0 = DataIO(name='dataio_0',data_type='float',output_format='dense')
dataio_0.get_party_instance(role='guest',party_id=9999).component_param(
	with_label = True,
	label_name = "doctorco",
	label_type = "float"
)
dataio_0.get_party_instance(role='host',party_id=10000).component_param(
	with_label = False
)

2.6.3 设置任务的驱动

• set_initator(role,party_id):设置任务发起方
• set_roles:设置任务参与方及partyid

from pipeline.backend.pipeline import PipeLine
pipeline = PipeLine().set_initiator(role='guest',party_id=9999).\
	set_roles(guest=9999,host=10000,arbiter=10001)

2.6.4 构建运行的DAG图

• DAG图通过Data和Model进行关联，其中Data表示输入数据依赖，Model表示模型依赖
• Pipeline().add_component(component,data=Data(),model=Model()),表示增加组件，数据依赖关系，模型依赖关系

from pipeline.interface import Data
from pipeline.interface import Model
pipeline.add_component(reader_0)
pipeline.add_component(reader_1)
pipeline.add_component(dataio_0,data=Data(data=reader_0.output.data))
pipeline.add_component(dataio_1,data=Data(data=reader_1.output.data),model=Model(dataio_0.output.model))
pipeline.add_component(intersection_0,data=Data(data=dataio_0.output.data))
pipeline.add_component(intersect_1,data=Data(data=dataio_1.output.data))
pipeline.add_component(hetero_poisson_0,data=Data(train_data=intersection_0.output.data,validate_data=intersect_1.output.data,))

2.6.5 编译&运行

• Pipeline.compile()：调用pipeline编译接口，构造训练的dsl以及构造任务运行时的参数配置
• JobParameters:设置运行时的环境参数，包括后端执行运行，执行方式（单机、并行）、并发度等
• pipeline.fit():执行训练流程

from pipeline.runtime.entity import JobParameters
pipline.compile()
job_parameters = JobParameters(backend=0, work_mode=1)
pipeline.fit(job_parameters)

2.6.6 获取训练相关信息

• pipeline.get_component(component_name) #获取某个组件的任务信息task_info
• task_info.get_summary()#获取组件的汇总信息
• task_info.get_model_param()#获取组件的模型输出
• task_info.get_output_data()#获取组件的数据输出

summary = pipeline.get_component("hetero_poisson_0").get_summary()
model_param = pipeline.get_component("hetero_poisson_0").get_model_param()

2.6.7 模型部署和保存

• pipeline.deploy_component(component_list)#通过该接口指定参与离线预测的组件
• pipeline.dump(pipeline_model_path)#将训练的pipeline(模型)保存到指定的模型文件

pipeline.deploy_component(["dataio_0","intersection_0","hetero_poisson_0"])
pipeline.dump("pipeline_saved.pkl")

2.6.8 训练模型的恢复和查看

• PipeLine.load_model_file(restore_model_path)#恢复保存的pipeline
• pipeline.describe()#获取pipeline的相关描述，包括阶段、创建时间、构造的dsl等

train_pipeline = PipeLine.load_model_file("pipeline_saved.pkl")
train_pipeline.describe()

2.6.9 模型预测

• add_component#支持将训练pipeline部署后的模型作为一个整体进行增加
  • pipeline作为整体输入时，使用predict_input=dict来进行数据传递(可能有多组件需要数据)
  • 支持在训练部署模型前后增加新的组件
• pipeline.predict()#执行预测流程

predict_pipeline = PipeLine()
predict_pipeline.add_component(reader_predict)
predict_pipeline.add_component(train_pipeline,data=Data(predict_input={train_pipeline.dataio_0.input.data:reader_predict.output.data}))
predict_pipeline.add_component(evaluation_0,data=Data(data=train_pipeline.hetero_poisson_0.output.data))
predict_pipeline.predict(JobParameters(backend=0,work_mode=1))s

3. FATE Serving Architecture（FATE在线服务架构）

• Serving Server
  • 负责模型的加载和缓存
  • 在线推理
• Serving Proxy
  • 在线服务的网络出口
  • 对接业务系统和负载均衡等功能
• zookeeper
  • 在线服务的发现和高可用
• FATE Flow
  • 负责将模型从Roll中读出来的分发到Serving Server
• Roll
  • 分布式计算和存储

参考：
https://docs.qq.com/doc/DU3ZQb1h1ZnZqTUFy
https://www.bilibili.com/video/BV1hf4y1F7yg/?spm_id_from=333.337.search-card.all.click&vd_source=312881934a549c75f4267ec434cf8ea9