横向联邦学习 FATE-API操作测试用例

最新推荐文章于 2024-08-09 08:17:38 发布
最新推荐文章于 2024-08-09 08:17:38 发布
阅读量718 收藏 4
点赞数
分类专栏： 信息技术 python 文章标签： nginx 运维 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yfanjy/article/details/121536276
版权

基础

  • FATAE服务版本: V1.6.1
  • FATE-Serving服务版本: V2.0.4
  • 部署:基于docker-compose部署,4台服务器集群10000–9997
  • 用例保含: 模型训练, 推理服务

步骤

  1. guest方训练数据集上传: breast_homo_guest.csv;
    2．host方训练数据集上传: breast_homo_host.csv;
    3．模型训练流程/计划dsl文件编写: homo_lr_train_eval_dsl.json文件编写;
    4．模型训练运行配置文件编写: homo_lr_train_eval_conf.json文件编写;
    5．提交模型训练任务;
    6．模型训练可视化;
    7．预测流程/计划dsl文件编写: homo-lr-normal-predict-dsl.json
    8．预测流程运行配置文件编写: homo-lr-normal-predict-conf.json
    9．模型部署;
    10．guest方预测数据集上传: breast_homo_guest.csv;
    11．host方预测数据集上传: breast_homo_host.csv;
    12．提交预测任务;
    13．预测任务可视化;
    14．结果模型,数据导出;

3.guest方训练数据集上传

breast_homo_guest.csv数据集文件在FATA1.6.1源码示例下:example/homo-feature-binning


/v1/data/upload
~~~~~~~~~~~~~~~

-  request parames:

   -  namespace: Required,String: upload data table namespace
   -  table_name: Required,String: upload data table name
   -  work_mode: Required,Integer: eggroll’s working mode
   -  head: Required,Integer: determine if there is a data header
   -  partition: Required,Integer: set the number of partitions to save
      data
   -  module: Optional,String: If you need to use the data of the
      machine where the FATE-Flow server is located, this value is not
      empty.
   -  use_local_data: Optional,String: If you need to use the data of the machine where the FATE-Flow server is located, this value is 0.
   -  drop: Optional, Integer: When the cluster deployment uses the same table to upload data, it is necessary to carry the drop parameter,0 represents overwriting upload, 1 represents deleting the previous data and re-uploading

- request Body:

-  file: Required, String: upload file location
-  response structure

   -  job_id: upload job id,String
   -  data: return data for submitting job ,Object

host方训练数据集上传:

breast_homo_host.csv在nextcloud共享盘下载,该文档同目录下;
上传接口同上;

模型训练流程/计划dsl文件编写:

homo_lr_train_eval_dsl.json文件在在FATA1.6.1源码示例下:example/homo-feature-binning; 内容:

{
    "components": {
        "reader_0": {
            "module": "Reader",
            "output": {
                "data": [
                    "data"
                ]
            }
        },
        "reader_1": {
            "module": "Reader",
            "output": {
                "data": [
                    "data"
                ]
            }
        },
        "dataio_0": {
            "module": "DataIO",
            "input": {
                "data": {
                    "data": [
                        "reader_0.data"
                    ]
                }
            },
            "output": {
                "data": [
                    "data"
                ],
                "model": [
                    "model"
                ]
            }
        },
        "dataio_1": {
            "module": "DataIO",
            "input": {
                "data": {
                    "data": [
                        "reader_1.data"
                    ]
                },
                "model": [
                    "dataio_0.model"
                ]
            },
            "output": {
                "data": [
                    "data"
                ],
                "model": [
                    "model"
                ]
            }
        },
        "scale_0": {
            "module": "FeatureScale",
            "input": {
                "data": {
                    "data": [
                        "dataio_0.data"
                    ]
                }
            },
            "output": {
                "data": [
                    "data"
                ],
                "model": [
                    "model"
                ]
            }
        },
        "scale_1": {
            "module": "FeatureScale",
            "input": {
                "data": {
                    "data": [
                        "dataio_1.data"
                    ]
                },
                "model": [
                    "scale_0.model"
                ]
            },
            "output": {
                "data": [
                    "data"
                ],
                "model": [
                    "model"
                ]
            }
        },
        "homo_lr_0": {
            "module": "HomoLR",
            "input": {
                "data": {
                    "train_data": [
                        "scale_0.data"
                    ],
                    "validate_data": [
                        "scale_1.data"
                    ]
                }
            },
            "output": {
                "data": [
                    "data"
                ],
                "model": [
                    "model"
                ]
            }
        },
        "evaluation_0": {
            "module": "Evaluation",
            "input": {
                "data": {
                    "data": [
                        "homo_lr_0.data"
                    ]
                }
            },
            "output": {
                "data": [
                    "data"
                ]
            }
        }
    }
}

模型训练运行配置文件编写

homo_lr_train_eval_conf.json文件位置同上,内容:

{
    "dsl_version": 2,
    "initiator": {
        "role": "guest",
        "party_id": 10000
    },
    "role": {
        "guest": [
            10000
        ],
        "host": [
            9999
        ],
        "arbiter": [
            9999
        ]
    },
    "job_parameters": {
        "common": {
            "job_type": "train",
            "backend": 0,
            "work_mode": 0
        }
    },
    "component_parameters": {
        "common": {
            "dataio_0": {
                "with_label": true,
                "output_format": "dense"
            },
            "homo_lr_0": {
                "penalty": "L2",
                "tol": 1e-05,
                "alpha": 0.01,
                "optimizer": "rmsprop",
                "batch_size": 320,
                "learning_rate": 0.15,
                "init_param": {
                    "init_method": "zeros"
                },
                "encrypt_param": {
                    "method": null
                },
                "max_iter": 3,
                "early_stop": "diff",
                "cv_param": {
                    "n_splits": 4,
                    "shuffle": true,
                    "random_seed": 33,
                    "need_cv": false
                },
                "validation_freqs": 1
            },
            "evaluation_0": {
                "eval_type": "binary"
            }
        },
        "role": {
            "host": {
                "0": {
                    "evaluation_0": {
                        "need_run": false
                    },
                    "reader_1": {
                        "table": {
                            "name": "breast_homo_host",
                            "namespace": "experiment"
                        }
                    },
                    "reader_0": {
                        "table": {
                            "name": "breast_homo_host",
                            "namespace": "experiment"
                        }
                    }
                }
            },
            "guest": {
                "0": {
                    "reader_1": {
                        "table": {
                            "name": "breast_homo_guest",
                            "namespace": "experiment"
                        }
                    },
                    "reader_0": {
                        "table": {
                            "name": "breast_homo_guest",
                            "namespace": "experiment"
                        }
                    }
                }
            }
        }
    }
}

提交模型训练任务

接口及说明:

/v1/job/submit
~~~~~~~~~~~~~~

-  request structure

   -  job_runtime_conf: Required,Object:该对象为homo_lr_train_eval_conf.json文件中的内容
   -  job_dsl: Required,Object: 该对象为homo_lr_train_eval_dsl.json文件中的内容

-  response structure

   -  job_id: job id of the currently submitted job,String
   -  data: return data for submitting job ,Object

模型训练可视化

访问FATE-Board地址: IP:8080
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

预测流程/计划dsl文件编写

homo-lr-normal-predict-dsl.json文件位置同上,内容:

{
    "components": {
        "dataio_0": {
            "input": {
                "data": {
                    "data": [
                        "reader_0.data"
                    ]
                },
                "model": [
                    "pipeline.dataio_0.model"
                ]
            },
            "module": "DataIO",
            "output": {
                "data": [
                    "data"
                ]
            }
        },
        "reader_0": {
            "module": "Reader",
            "output": {
                "data": [
                    "data"
                ]
            }
        },
        "scale_0": {
            "input": {
                "data": {
                    "data": [
                        "dataio_0.data"
                    ]
                },
                "model": [
                    "pipeline.scale_0.model"
                ]
            },
            "module": "FeatureScale",
            "output": {
                "data": [
                    "data"
                ]
            }
        },
        "homo_lr_0": {
            "input": {
                "data": {
                    "test_data": [
                        "scale_0.data"
                    ]
                },
                "model": [
                    "pipeline.homo_lr_0.model"
                ]
            },
            "module": "HomoLR",
            "output": {
                "data": [
                    "data"
                ]
            }
        }
    }
}

预测流程运行配置文件编写:

homo-lr-normal-predict-conf.json文件位置同上,内容:

{
    "dsl_version": 2,
    "initiator": {
        "role": "guest",
        "party_id": 10000
    },
    "role": {
        "guest": [
            10000
        ],
        "host": [
            9999
        ],
        "arbiter": [
            9999
        ]
    },
    "job_parameters": {
        "common": {
            "work_mode": 0,
            "backend": 0,
            "job_type": "predict",
            "model_id": "arbiter-9999#guest-10000#host-9999#model",
            "model_version": "2020101008251441870347"
        }
    },
    "component_parameters": {
        "role": {
            "guest": {
                "0": {
                    "reader_0": {
                        "table": {
                            "name": "breast_homo_guest",
                            "namespace": "experiment"
                        }
                    }
                }
            },
            "host": {
                "0": {
                    "reader_0": {
                        "table": {
                            "name": "breast_homo_host",
                            "namespace": "experiment"
                        }
                    }
                }
            }
        }
    }
}

模型部署

接口:

/v1/model/deploy
~~~~~~~~~~~~~~~~~~

-  request structure

   - model_version: Required, Integer: model version:FATE训练模型成功后返回的model version
   - model_id: Required, String: model id:FATE训练模型成功后返回的model id
   - cpn_list: Optional, String: array-like string that contains components
   - cpn_path: Optional, String: file path of plain text which stores component list
   - dsl_path: Optional, String: file path of plain text which stores dsl content

-  response structure

   -  retcode: return code, Integer
   -  retmsg: return code description, String
   -  data: status info, Object

guest方预测数据集上传

因测试流程,直接使用训练数据集;

host方预测数据集上传

因测试流程,直接使用训练数据集;

提交预测任务

使用原来的提交训练任务的接口,将参数进行修改:
接口:

/v1/job/submit
~~~~~~~~~~~~~~

-  request structure

   -  job_runtime_conf: Required,Object:该对象为homo-lr-normal-predict-conf.json文件中的内容
   -  job_dsl: Required,Object: 该对象为homo-lr-normal-predict-dsl.json文件中的内容

预测任务可视化

访问FATE-Board可视化页面,进行查看:
在这里插入图片描述

结果模型,数据导出

在这里插入图片描述

y'fan
关注
专栏目录
〖Python接口自动化测试实战篇⑫〗- 实战 - unittest框架之用例组织
易编橙 · 终身成长社群，相遇已是上上签！
06-02 4万+
上一章节学习了 [unittest] 框架的断言，今天我们就来继续学习测试用例的组织。在我们进行接口测试的组织的时候（其实不仅仅是接口，后面的 WEB - UI 自动化、APP自动化的 测试组织 使用 [unittest] 的方式都是一样的 ），有两种模式。 第一种：在用例模块内的组织，在一个类内规定或者说通过 [unittest] 的组织方式决定哪些用例、哪些代码的执行次数。第二种：用一些底层组件来组织测试用例，也就是组织真正的测试框架。所以从小到大，先来了解一下用例自身的组织。......
FATE学习：五种不同的API提交FATE任务
喵十八的修行记录
09-07 1908
综述 当前支持如下五种API来提交FATE任务，分别为： CLI API：通过python 启动python 脚本，提交FATE任务。 REST API：Rest API 形式，发起http请求，提交FATE任务。 Flow SDK：python 封装的SDK，调用相关API，提交FATE任务。 Flow Client：封装为命令行工具模式的FATE Flow命令行控制台。 Pipeline：python 封装的high level API。 几种API的对比 CLI API 使用方式: python
FATE项目安装与使用指南
最新发布
gitblog_00962的博客
08-09 638
FATE项目安装与使用指南 FATE项目地址:https://gitcode.com/gh_mirrors/fat/FATE 项目的目录结构及介绍 FATE项目的主要目录结构如下： conf/: 包含各种配置文件。 docker/: Docker相关配置文件，用于容器化部署。 fate_flow/: 流程控制和服务管理模块。 fateboard/: Web界面应用代码，提供可视化操作界面。 p...
隐私计算FATE-多分类神经网络算法测试
zlt2000的博客
07-07 770
本文分享基于Fate使用横向联邦神经网络算法对多分类的数据进行模型训练，并使用该模型对数据进行多分类预测。
接口自动化测试方案分享（二）----接口测试用例设计
qq_34078572的博客
09-29 2326
这篇聊聊在使用Jmeter工具时的一些规则、注意事项，以及接口测试用例的设计思路。 Jmeter 一、变量定义规则 1、全局变量：贯穿整个测试计划，通常置顶在所有线程组的最上方。用“配置元件”中的【CSV Data Set Config】来设置。 2、HTTP消息头：统一规划公共的HTTP消息头。用“配置元件”中的【HTTP信息头管理器】来设置，并放置在【用户定义变量】下方。 3、局部变量：接口里的日期等局部变量，由接口设计人员自行定义。也可以将部分变量跟随信息头管理器来发送。 4、变量的定义规则建议为：全
游戏-详细测试用例(模版).xlsx
05-08
电子表格模板，内容详细，包括组队系统等测试用例 创建队伍、加入队伍、队伍排序、队伍解散、退出队伍、组队战斗、组队功能和特殊情况等 内容仅供参考
SIT测试案例-界面测试用例
09-08
本人根据测试经验，编写的关于测试案例-界面测试用例。包括字符串长度检查，字符类型检查、特殊字符检查等内容
新浪空间-访客-测试用例
05-05
这是我做的关于 新浪空间-访客-测试用例
Fate白皮书.pdf
04-10
联邦学习白皮书，介绍了联邦学习基本概念，类别，行业应用领域以及Fate 联邦学习开源框架，系统结构，功能模块，以及各个功能模块大概介绍，具体参考github上Fate项目。
Fate横向联邦学习-训练评估
培根芝士的专栏
12-07 2627
1. 准备上传数据 我们直接使用Fate提供的案例数据目录在examples/data/breast_homo_guest.csv、examples/data/breast_homo_host.csv、 这里上传数据需要准备host以及guest两方的上传数据 根据官方解释在Fate的概念中分成3种角色，Guest、Host、Arbiter Guest表示数据应用方，Host是数据提供方，在纵向算法中，Guest往往是有标签y的一方。arbiter是用来辅助多方完成联合建模的，主要的作用是用来聚.
FateFlow及Fateboard模块代码结构分析
dahaiwang的专栏
07-22 2869
FateFlow模块代码结构： 文件总的配置文件入口 setting.py * mysql数据库配置 (默认使用本地sqlite db文件存储) * redis数据库配置 arch/conf/server_conf.json 各服务对应的主机和端口号 fateboard 端口号默认为8080 fateflow http端口号默认为9380 gRPC端口号默认为9360 常用的一些工具类 db_models.py 数据库连接类 .
联邦学习框架：FATE的安装使用，单机部署，使用MNIST测试
weixin_44379605的博客
04-10 2738
相关链接 FATE官方库里面有详细的文档，支持中文！ 前提 我是用docker安装部署的 所以要做一些准备 docker换源 Docker常用命令及换源 sudo nano /etc/docker/daemon.json { "registry-mirrors":[ "http://docker.mirrors.ustc.edu.cn", "http://hub-mirror.c.163.com", "http://registry.doc
FATE使用手册
every place is the center of the universe
09-19 7220
python fate_flow operation task_executor 。。。 模型，pipeline-mini-demo运行—（1）添加链接描述
联邦学习笔记（一）：Federated Core API学习笔记
young_monkeysun的博客
01-21 1956
Federated Core API学习笔记自定义联邦数据类型联邦计算联邦学习装饰器装饰器的使用限制TFF数据集的处理总结 自定义联邦数据类型 在联邦学习中，采样的本地设备中数据的类型对于外界是不可知的 如果所有本地设备中的数据类型都一样，则被称为第一好的数据 联邦数据类型有两种定义方式，假设本地设备中的所有数据都一样 定义所有设备上的数据类型都为32位浮点型，如果联邦数据只有一种类型，则不管该数据是不是联邦数据类型都可以认为是完全等价的。 只有一种数据类型代码： federated_float_on_
Flink常用Api详解
weixin_44859876的博客
12-23 365
DataStream API主要分为3块:DataSource、Transformation、Sink。 Flink数据源(DataSource)可以有两种实现方式： 1.内置数据源 a）基于文件 readTextFile(path)//获取文本内容 读取文本文件,文件遵循TextInputFormat逐行读取规则并返回。 b）基于Socket //获取Flink的运行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExec
联邦学习开源框架FATE的学习资料
夏至是个程序媛
01-15 5804
官网：https://fate.fedai.org/ GITHUB：https://github.com/FederatedAI/FATE 项目目录 一、开源项目文件 1.1 LICENSE.md：开源协议（Apache 2.0） 1.2 CONTRIBUTING.md：如何为项目做贡献 1.3 CODE_OF_CONDUCT.md：参与者的行为准则 1.4 PULL_REQUEST_TEMPLA...
图书馆管理系统----测试用例编写
06-09
好的，针对图书馆管理系统，我们可以编写以下测试用例： 1. 用户登录功能测试用例： - 输入正确的用户名和密码，登录成功 - 输入不存在的用户名和密码，提示错误信息 - 输入正确的用户名但错误的密码，提示错误信息...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值