Fate Flow Client SDK 指南(1)

于 2024-09-05 00:38:20 发布
阅读量679 收藏 26
点赞数 20
文章标签： java 服务器 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_86638664/article/details/141907571
版权

from flow_sdk.client import FlowClient

use real ip address to initialize SDK

client = FlowClient(‘127.0.0.1’, 9000, ‘v1’)

Job 操作

用法

client.job.submit(conf_path, dsl_path)

函数定义

submit(conf_path, dsl_path)

  • 介绍：提交执行pipeline任务。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | conf_path | string | 是 | 任务配置文件路径 |

| 2 | dsl_path | string | 是 | DSL文件路径 |

stop(job_id)

  • 介绍：取消或终止指定任务。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

query(job_id=None, role=None, party_id=None, status=None)

  • 介绍：检索任务信息。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 否 | Job ID |

| 2 | role | string | 否 | 角色 |

| 3 | party_id | integer | 否 | Party id |

| 4 | status | string | 否 | 任务状态 |

config(job_id, role, party_id, output_path)

  • 介绍：下载指定任务的配置文件到指定目录。

  • 参数：

| 否 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | role | string | 是 | 角色 |

| 3 | party_id | integer | 是 | Party id |

| 4 | output_path | string | 是 | 输出目录路径 |

log(job_id, output_path)

  • 介绍：下载指定任务的日志文件到指定目录。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | output_path | string | 是 | 输出目录路径 |

list(limit=10)

  • 介绍：展示任务列表。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | limit | integer | 否 | 返回数量限制（默认：10） |

view(job_id=None, role=None, party_id=None, status=None)

  • 介绍：检索任务数据视图。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 否 | Job ID |

| 2 | role= | string | 否 | 角色 |

| 3 | party_id | integer | 否 | Party id |

| 4 | component_name | string | 否 | 组件名 |

generate_dsl(train_dsl_path, cpn_file_path=None, cpn_list = None)

  • 介绍：预测DSL文件生成器。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | train_dsl_path | string(path) | 是 | 用户指定组件名列表 |

| 2 | version | string | 否 | DSL解析器版本（默认：1） |

| 3 | cpn_file_path | string(path) | 否 | 用户指定带有组件名列表的文件路径 |

| 4 | cpn_list | list | 否 | 用户指定组件名列表 |

Component 操作

用法

client.component.parameters(job_id, role, party_id, component_name)

函数定义

parameters(job_id, role, party_id, component_name)

  • 介绍：检索指定组件的参数。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | role | string | 是 | 角色 |

| 3 | party_id | integer | 是 | Party id |

| 4 | component_name | string | 是 | 组件名 |

metric_all(job_id, role, party_id, component_name)

  • 介绍：检索指定任务的所有metric数据。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | role | string | 是 | 角色 |

| 3 | party_id | integer | 是 | Party id |

| 4 | component_name | string | 是 | 组件名 |

metrics(job_id, role, party_id, component_name)

  • 介绍：检索指定任务指定组件的metric数据。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | role | string | 是 | 角色 |

| 3 | party_id | integer | 是 | Party id |

| 4 | component_name | string | 是 | 组件名 |

metric_delete(date=None, job_id=None)

  • 介绍：删除指定metric数据。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | date | integer | 是 | 8位日期, 形如 ‘YYYYMMDD’ |

| 2 | job_id | integer | 是 | Job ID |

Notice： If you input two optional 参数s in the mean time, the ‘date’ 参数 will be detected in priority while the ‘job_id’ 参数 would be ignored.

output_model(job_id, role, party_id, component_name)

  • 介绍：检索指定组件模型。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | role | string | 是 | role= |

| 3 | party_id | integer | 是 | Party id |

| 4 | component_name | string | 是 | 组件名 |

output_data(job_id, role, party_id, component_name, output_path, limit=10)

  • 介绍：下载指定组件的输出数据。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | role | string | 是 | 角色 |

| 3 | party_id | integer | 是 | Party id |

| 4 | component_name | string | 是 | 组件名 |

| 5 | output_path | string | 是 | 输出目录路径 |

| 6 | limit | integer | 否 | 返回结果数量限制（默认：-1，指返回所有数据） |

output_data_table(job_id, role, party_id, component_name)

  • 介绍：查看数据表名及命名空间。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | role | string | 是 | 角色 |

| 3 | party_id | integer | 是 | Party id |

| 4 | component_name | string | 是 | 组件名 |

list(job_id)

  • 介绍： 展示指定任务的组件列表。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

get_summary(job_id, role, party_id, component_name)

  • 介绍：获取指定组件的概要。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | role | string | 是 | 角色 |

| 3 | party_id | integer | 是 | Party id |

| 4 | component_name | string | 是 | 组件名 |

Data 操作

用法

client.data.download(conf_path)

函数定义

download(conf_path)

  • 介绍：下载数据表。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | conf_path | string | 是 | 任务配置文件路径 |

upload(conf_path, verbose=0, drop=0)

  • 介绍：上传数据表。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | conf_path | string | 是 | 任务配置文件路径 |

| 2 | verbose | integer | 否 | 如果赋值为1，用户将在控制台获得上传进度（默认为0） |

| 3 | drop | integer | 否 | 如果赋值为1，旧版已上传数据将被新上传的同名数据替换（默认为0） |

upload_history(limit=10, job_id=None)

  • 介绍：检索上传数据历史。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | limit | integer | 否 | 返回结果数量限制（默认：10） |

| 2 | job_id | integer | 否 | Job ID |

Task 操作

用法

client.task.list(limit=10)

函数定义

list(limit=10)

  • 介绍： 展示Task列表。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | limit | integer | 否 | 返回结果数量限制（默认：10） |

query(job_id=None, role=None, party_id=None, component_name=None, status=None)

  • 介绍： 检索Task信息。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 否 | Job ID. |

| 2 | role | string | 否 | 角色 |

| 3 | party_id | integer | 否 | Party ID |

| 4 | component_name | string | 否 | 组件名 |

| 5 | status | string | 否 | 任务状态 |

Model 操作

用法

client.model.load(conf_path)

函数定义

load(conf_path=None, job_id=None)

  • 介绍：加载模型。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | conf_path | string | 否 | 任务配置文件路径 |

| 2 | job_id | string | 否 | Job ID |

bind(conf_path, job_id=None)

  • 介绍： 绑定模型。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | conf_path | string | 是 | 任务配置文件路径 |

| 2 | job_id | string | 否 | Job ID |

export_model(conf_path, to_database=False)

  • 介绍： 导出模型。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | conf_path | string | 是 | 任务配置文件路径 |

| 2 | to_database | bool | 否 | 如果指定且有可用的数据库环境，fate flow将从根据任务配置文件将模型导出到数据库中。 |

import_model(conf_path, from_database=False)

  • 介绍： 导入模型。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | conf_path | string | 是 | 任务配置文件路径 |

| 2 | from_database | bool | 否 | 如果指定且有可用的数据库环境，fate flow将从根据任务配置文件从数据库中导入模型。 |

migrate(conf_path, to_database=False)

  • 介绍： 迁移模型。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | conf_path | string | 是 | 任务配置文件路径 |

tag_list(job_id)

  • 介绍： 展示模型的标签列表。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

tag_model(job_id, tag_name, remove=False)

  • 介绍： 对模型添加标签。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | tag_name | string | 是 | 标签名 |

| 3 | remove | bool | 否 | 如果指定，带有指定标签名的标签将被模型的标签列表中移除 |

deploy(model_id, model_version=None, cpn_list=None, predict_dsl=None)

  • 介绍： 配置模型预测dsl。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | model_id | string | 是 | 模型ID |

| 2 | model_version | string | 是 | 模型版本 |

| 3 | cpn_list | list | 否 | 组件列表 |

| 4 | predict_dsl | dict | 否 | 预测DSL |

get_predict_dsl(model_id, model_version)

  • 介绍： 获取模型预测dsl。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | model_id | string | 是 | 模型ID |

| 2 | model_version | string | 是 | 模型版本 |

get_predict_conf(model_id, model_version)

  • 介绍： 获取模型预测conf模板。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | model_id | string | 是 | 模型ID |

| 2 | model_version | string | 是 | 模型版本 |

get_model_info(model_id=None, model_version=None, role=None, party_id=None, query_filters=None, **kwargs)

  • 介绍： 获取模型信息。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | model_id | string | 否 | 模型ID |

| 2 | model_version | string | 是 | 模型版本 |

| 3 | role | string | 否 | 角色名 |

| 4 | party_id | string | 否 | Party ID |

| 5 | query_filters | list | 否 | 检索字段 |

Tag 操作

用法

client.tag.create(tag_name, desc)

2401_86638664
关注
微众Fate-横向联邦学习-预测(1)
m0_61331407的博客
05-01 49
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
数据集上传和管理 - FATE v1.8.0
gaoshiqing1248的博客
07-21 1398
本文根据官方文档整理了FATE flow 数据集表格上传的流程。 不要小看数据上传这一步，做好了这一步能够避免很多后续训练任务过程中的报错。
Client SDK
02-27
Client SDK Client SDK Client SDK Client SDK Client SDK
client Sdk
weixin_43600910的博客
07-09 747
client Sdk学习 spring.factories 在Spring Boot中有一种非常解耦的扩展机制：Spring Factories。这种扩展机制实际上是仿照Java中的SPI扩展机制来实现的。 约定 当服务的提供者，提供了服务接口的一种实现之后，需在项目的classpath下的META-INF/spring.factories文件中配置该接口的实现类名称，以便程序读取配置文件来实例化。 org.springframework.context.ApplicationContextInitia
Fate Flow Client SDK 指南
AI浩
08-24 945
用法 from flow_sdk.client import FlowClient # use real ip address to initialize SDK client = FlowClient('127.0.0.1', 9000, 'v1') Job 操作 用法 client.job.submit(conf_path, dsl_path) 函数定义 submit(conf_path, dsl_path) 介绍：提交执行pipeline任务。 参数： 编号 参数 参数类型 必要参数
informix Client-SDK
01-14
informix Client-SDK,Windows 2000，XP 上测试通过(Liense: AAC#J314936 Key: KHWPJY)
FATE:工业级联合学习框架
05-10
FATE（联邦人工智能技术使能器）是一个由Webank的AI部门发起的开源项目，旨在提供安全的计算框架来支持联邦AI生态系统。 它基于同态加密和多方计算（MPC）实现安全的计算协议。 它支持联合学习体系结构和各种机器...
Fate单机部署（主机版本）
qq_38500228的博客
12-14 3172
Fate单机部署（主机版本）1.常用网址2.环境配置3.主机单机部署核心4.部署流程4.1 基本配置4.2 检查端口4.3 获取资源并部署4.4 测试4.4.1 单元测试4.4.2 Toy测试4.5 安装FATE-Client和FATE-Test4.6 开启fateboard服务4.7 python命令4.8 flow命令 1.常用网址 Fate1.6.0联邦学习下载网站：https://github.com/WeBankFinTech/FATE FATE官方网站：https://fate.fedai.or
FateZero-main (1).zip
最新发布
07-21
《FateZero-main (1).zip》是一个包含AIGC ChatGPT优秀项目源代码的压缩文件，这个压缩包的核心内容是与人工智能、聊天机器人以及机器学习相关的编程资源。ChatGPT是由OpenAI开发的预训练语言模型，而AIGC...
fate框架找不到 flow 命令
呆萌的代Ma
10-21 1090
在Doc中，马上就用了flow命令，而还没有给出flow在哪里，所以这篇博客解决这个问题 参考网站：https://github.com/FederatedAI/FATE/blob/master/examples/pipeline/README.rst 博主是fate-standalone-1.5.0 首先到原始的路径 python -m venv venv source venv/bin/activate pip install -i https://pypi.tuna.tsinghua.edu.cn/s
FateFlow及Fateboard模块代码结构分析
dahaiwang的专栏
07-22 2878
FateFlow模块代码结构： 文件总的配置文件入口 setting.py * mysql数据库配置 (默认使用本地sqlite db文件存储) * redis数据库配置 arch/conf/server_conf.json 各服务对应的主机和端口号 fateboard 端口号默认为8080 fateflow http端口号默认为9380 gRPC端口号默认为9360 常用的一些工具类 db_models.py 数据库连接类 .
AWS Client端SDK授权方案(Amazon Cognito 身份池)
Andy Tools
05-21 9786
文章目录1 Amazon Cognito 简介用户池身份池2 移动端通过Amazon Cognito接入架构2.1 使用用户池或公共登录提供商2.2 经过开发人员验证的身份3 实际使用3.1 创建身份池并自定义验证方案及权限3.2 账户服务器返回token及IdentityId3.3 终端使用token及IdentityId授权AWS SDK4 参考链接 协助同事接入AWS mobile SDK，...
Fate Serving安装部署
AI浩
08-05 3155
文章目录摘要架构图工作时序图部署安装JDK安装zookeeper安装serving-server安装serving-proxy安装serving-admin测试 摘要 fate-serving是FATE的在线部分，在使用FATE进行联邦建模完成之后，可以使用fate-serving进行在线联合预测。 FATE-SERVING 2.0 支持的特性： 单笔预测，2.0.*版本guest方与host方将并行计算，从而降低了耗时。 批量预测，2.0.*版本开始引入的新的特性，一次请求可以批量提交一批需要预测的数据
API 和 SDK 的区别
qq_39564710的博客
02-05 334
API:只需要传固定的地址，向地址传递参数，实现功能 可以 用 httpClient 技术可以调用api 地址 例如： SDK : sdk是对api的封装，更方便用，只需要我们导入 maven 依赖 或者 jar包，就可以直接使用里面的 类和 方法了 ...
FATE 命令行学习笔记
喵十八的修行记录
08-25 1061
目录使用方式JOB_OPERATEsubmit_jobstop_jobquery_jobclean_jobdata_view_queryJOBjob_configjob_logTASK_OPERATEquery_taskTRACKINGcomponent_parameterscomponent_metric_allcomponent_metricscomponent_output_modelcomponent_output_datacomponent_output_data_tableDATAdownloa
fate框架使用记录
weixin_38009252的博客
09-29 7149
文章目录在腾讯云服务器上使用fate1. secureboost进入环境上载数据2. 待更新 在腾讯云服务器上使用fate 1. secureboost 进入环境 输入ssh + 服务器地址 --> 输入密码进入服务器 使用cd FATE/命令进入框架所在文件夹 使用docker exec -it fate_python bash命令进入docker 上载数据 由于原文件夹中的upload_...
FATE —— 三.2 FATE-Flow document
weixin_62375097的博客
01-13 296
生成的模型部署到在线推理系统中，当前支持创建基于 KFServing 的推理服务。用指定的 Checkpoint 模型替换 Pipeline 模型。用指定的 Checkpoint 模型替换 Pipeline 模型。向 Fate-Serving 加载 deploy 生成的模型。向 Fate-Serving 绑定 deploy 生成的模型。基于横向训练的模型，生成其他 ML 框架的模型文件。从本地或存储引擎中导入模型。导出模型到本地或存储引擎中。从模型中添加或删除标签。获取模型的标签列表。
flow 命令的安装与使用
AI浩
08-23 2192
文章目录1 安装2 初始化3 Data`download``upload``upload-history`3 Job`submit``stop``query``view``config``log``list``dsl`4 Model`load``bind``import``export``migrate``tag-list``tag-model``deploy``get-predict-dsl``get-predict-conf``get-model-info`5 Component (TRACKING)`
FATE单机部署指南：联邦学习框架解析
接着是部署阶段，按照Fate提供的指南，配置相关配置文件，启动各个服务，包括FederatedML、FATE Serving和FATEFlow。单机测试阶段，可以通过运行示例任务来验证Fate部署是否成功，检查各组件间的通信和数据流动是否...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值