Fate Flow Client SDK 指南

于 2024-09-05 00:45:28 发布
阅读量773 收藏 28
点赞数 9
文章标签： python linux 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_86638673/article/details/141907612
版权
  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

query(job_id=None, role=None, party_id=None, status=None)

  • 介绍：检索任务信息。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 否 | Job ID |

| 2 | role | string | 否 | 角色 |

| 3 | party_id | integer | 否 | Party id |

| 4 | status | string | 否 | 任务状态 |

config(job_id, role, party_id, output_path)

  • 介绍：下载指定任务的配置文件到指定目录。

  • 参数：

| 否 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | role | string | 是 | 角色 |

| 3 | party_id | integer | 是 | Party id |

| 4 | output_path | string | 是 | 输出目录路径 |

log(job_id, output_path)

  • 介绍：下载指定任务的日志文件到指定目录。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | output_path | string | 是 | 输出目录路径 |

list(limit=10)

  • 介绍：展示任务列表。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | limit | integer | 否 | 返回数量限制（默认：10） |

view(job_id=None, role=None, party_id=None, status=None)

  • 介绍：检索任务数据视图。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 否 | Job ID |

| 2 | role= | string | 否 | 角色 |

| 3 | party_id | integer | 否 | Party id |

| 4 | component_name | string | 否 | 组件名 |

generate_dsl(train_dsl_path, cpn_file_path=None, cpn_list = None)

  • 介绍：预测DSL文件生成器。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | train_dsl_path | string(path) | 是 | 用户指定组件名列表 |

| 2 | version | string | 否 | DSL解析器版本（默认：1） |

| 3 | cpn_file_path | string(path) | 否 | 用户指定带有组件名列表的文件路径 |

| 4 | cpn_list | list | 否 | 用户指定组件名列表 |

Component 操作

用法

client.component.parameters(job_id, role, party_id, component_name)

函数定义

parameters(job_id, role, party_id, component_name)

  • 介绍：检索指定组件的参数。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | role | string | 是 | 角色 |

| 3 | party_id | integer | 是 | Party id |

| 4 | component_name | string | 是 | 组件名 |

metric_all(job_id, role, party_id, component_name)

  • 介绍：检索指定任务的所有metric数据。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | role | string | 是 | 角色 |

| 3 | party_id | integer | 是 | Party id |

| 4 | component_name | string | 是 | 组件名 |

metrics(job_id, role, party_id, component_name)

  • 介绍：检索指定任务指定组件的metric数据。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | role | string | 是 | 角色 |

| 3 | party_id | integer | 是 | Party id |

| 4 | component_name | string | 是 | 组件名 |

metric_delete(date=None, job_id=None)

  • 介绍：删除指定metric数据。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | date | integer | 是 | 8位日期, 形如 ‘YYYYMMDD’ |

| 2 | job_id | integer | 是 | Job ID |

Notice： If you input two optional 参数s in the mean time, the ‘date’ 参数 will be detected in priority while the ‘job_id’ 参数 would be ignored.

output_model(job_id, role, party_id, component_name)

  • 介绍：检索指定组件模型。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | role | string | 是 | role= |

| 3 | party_id | integer | 是 | Party id |

| 4 | component_name | string | 是 | 组件名 |

output_data(job_id, role, party_id, component_name, output_path, limit=10)

  • 介绍：下载指定组件的输出数据。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | role | string | 是 | 角色 |

| 3 | party_id | integer | 是 | Party id |

| 4 | component_name | string | 是 | 组件名 |

| 5 | output_path | string | 是 | 输出目录路径 |

| 6 | limit | integer | 否 | 返回结果数量限制（默认：-1，指返回所有数据） |

output_data_table(job_id, role, party_id, component_name)

  • 介绍：查看数据表名及命名空间。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | role | string | 是 | 角色 |

| 3 | party_id | integer | 是 | Party id |

| 4 | component_name | string | 是 | 组件名 |

list(job_id)

  • 介绍： 展示指定任务的组件列表。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

get_summary(job_id, role, party_id, component_name)

  • 介绍：获取指定组件的概要。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | role | string | 是 | 角色 |

| 3 | party_id | integer | 是 | Party id |

| 4 | component_name | string | 是 | 组件名 |

Data 操作

用法

client.data.download(conf_path)

函数定义

download(conf_path)

  • 介绍：下载数据表。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | conf_path | string | 是 | 任务配置文件路径 |

upload(conf_path, verbose=0, drop=0)

  • 介绍：上传数据表。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | conf_path | string | 是 | 任务配置文件路径 |

| 2 | verbose | integer | 否 | 如果赋值为1，用户将在控制台获得上传进度（默认为0） |

| 3 | drop | integer | 否 | 如果赋值为1，旧版已上传数据将被新上传的同名数据替换（默认为0） |

upload_history(limit=10, job_id=None)

  • 介绍：检索上传数据历史。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | limit | integer | 否 | 返回结果数量限制（默认：10） |

| 2 | job_id | integer | 否 | Job ID |

Task 操作

用法

client.task.list(limit=10)

函数定义

list(limit=10)

  • 介绍： 展示Task列表。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | limit | integer | 否 | 返回结果数量限制（默认：10） |

query(job_id=None, role=None, party_id=None, component_name=None, status=None)

  • 介绍： 检索Task信息。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 否 | Job ID. |

| 2 | role | string | 否 | 角色 |

| 3 | party_id | integer | 否 | Party ID |

| 4 | component_name | string | 否 | 组件名 |

| 5 | status | string | 否 | 任务状态 |

Model 操作

用法

client.model.load(conf_path)

函数定义

load(conf_path=None, job_id=None)

  • 介绍：加载模型。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | conf_path | string | 否 | 任务配置文件路径 |

| 2 | job_id | string | 否 | Job ID |

bind(conf_path, job_id=None)

  • 介绍： 绑定模型。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | conf_path | string | 是 | 任务配置文件路径 |

| 2 | job_id | string | 否 | Job ID |

export_model(conf_path, to_database=False)

  • 介绍： 导出模型。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | conf_path | string | 是 | 任务配置文件路径 |

| 2 | to_database | bool | 否 | 如果指定且有可用的数据库环境，fate flow将从根据任务配置文件将模型导出到数据库中。 |

import_model(conf_path, from_database=False)

  • 介绍： 导入模型。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | conf_path | string | 是 | 任务配置文件路径 |

| 2 | from_database | bool | 否 | 如果指定且有可用的数据库环境，fate flow将从根据任务配置文件从数据库中导入模型。 |

migrate(conf_path, to_database=False)

  • 介绍： 迁移模型。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | conf_path | string | 是 | 任务配置文件路径 |

tag_list(job_id)

  • 介绍： 展示模型的标签列表。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

tag_model(job_id, tag_name, remove=False)

  • 介绍： 对模型添加标签。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | job_id | integer | 是 | Job ID |

| 2 | tag_name | string | 是 | 标签名 |

| 3 | remove | bool | 否 | 如果指定，带有指定标签名的标签将被模型的标签列表中移除 |

deploy(model_id, model_version=None, cpn_list=None, predict_dsl=None)

  • 介绍： 配置模型预测dsl。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | model_id | string | 是 | 模型ID |

| 2 | model_version | string | 是 | 模型版本 |

| 3 | cpn_list | list | 否 | 组件列表 |

| 4 | predict_dsl | dict | 否 | 预测DSL |

get_predict_dsl(model_id, model_version)

  • 介绍： 获取模型预测dsl。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | model_id | string | 是 | 模型ID |

| 2 | model_version | string | 是 | 模型版本 |

get_predict_conf(model_id, model_version)

  • 介绍： 获取模型预测conf模板。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | model_id | string | 是 | 模型ID |

| 2 | model_version | string | 是 | 模型版本 |

get_model_info(model_id=None, model_version=None, role=None, party_id=None, query_filters=None, **kwargs)

  • 介绍： 获取模型信息。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | model_id | string | 否 | 模型ID |

| 2 | model_version | string | 是 | 模型版本 |

| 3 | role | string | 否 | 角色名 |

| 4 | party_id | string | 否 | Party ID |

| 5 | query_filters | list | 否 | 检索字段 |

Tag 操作

用法

client.tag.create(tag_name, desc)

函数定义

create(tag_name, tag_desc=None)

  • 介绍：创建标签。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | tag_name | string | 是 | 标签名 |

| 2 | tag_desc | string | 否 | 标签介绍 |

update(tag_name, new_tag_name=None, new_tag_desc=None)

  • 介绍： 更新标签信息。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | tag_name | string | 是 | 标签名 |

| 2 | new_tag_name | string | 否 | 新标签名 |

| 3 | new_tag_desc | string | 否 | 新标签介绍 |

list(limit=10)

  • 介绍： 展示标签列表。

  • 参数：

| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 |

| — | — | — | — | — |

| 1 | limit | integer | 否 | 返回结果数量限制（默认：10） |

2401_86638673
关注
数据集上传和管理 - FATE v1.8.0
gaoshiqing1248的博客
07-21 1414
本文根据官方文档整理了FATE flow 数据集表格上传的流程。 不要小看数据上传这一步，做好了这一步能够避免很多后续训练任务过程中的报错。
从新电脑开始构建FATE环境，图文并茂
桐青冰蝶Kiyotaka的博客
02-02 3586
假期在做服务外包竞赛，和联邦学习相关，所以写本篇(系列)博客，来记录自己的学习。使用centos7。
Client SDK
02-27
Client SDK Client SDK Client SDK Client SDK Client SDK
client Sdk
weixin_43600910的博客
07-09 763
client Sdk学习 spring.factories 在Spring Boot中有一种非常解耦的扩展机制：Spring Factories。这种扩展机制实际上是仿照Java中的SPI扩展机制来实现的。 约定 当服务的提供者，提供了服务接口的一种实现之后，需在项目的classpath下的META-INF/spring.factories文件中配置该接口的实现类名称，以便程序读取配置文件来实例化。 org.springframework.context.ApplicationContextInitia
informix Client-SDK
01-14
informix Client-SDK,Windows 2000，XP 上测试通过(Liense: AAC#J314936 Key: KHWPJY)
Fate Flow Client SDK 指南(1)
2401_84009130的博客
04-07 680
介绍：提交执行pipeline任务。参数：| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 || 1 | conf_path | string | 是 | 任务配置文件路径 || 2 | dsl_path | string | 是 | DSL文件路径 |介绍：取消或终止指定任务。参数：| 编号 | 参数 | 参数类型 | 必要参数 | 参数介绍 || 1 | job_id | integer | 是 | Job ID |介绍：检索任务信息。
Fate单机部署（主机版本）
qq_38500228的博客
12-14 3217
Fate单机部署（主机版本）1.常用网址2.环境配置3.主机单机部署核心4.部署流程4.1 基本配置4.2 检查端口4.3 获取资源并部署4.4 测试4.4.1 单元测试4.4.2 Toy测试4.5 安装FATE-Client和FATE-Test4.6 开启fateboard服务4.7 python命令4.8 flow命令 1.常用网址 Fate1.6.0联邦学习下载网站：https://github.com/WeBankFinTech/FATE FATE官方网站：https://fate.fedai.or
FATE:工业级联合学习框架
05-10
FATE（联邦人工智能技术使能器）是一个由Webank的AI部门发起的开源项目，旨在提供安全的计算框架来支持联邦AI生态系统。 它基于同态加密和多方计算（MPC）实现安全的计算协议。 它支持联合学习体系结构和各种机器...
微众Fate-横向联邦学习-预测(1)
m0_61331407的博客
05-01 55
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
ThingsBoard客户端SDK使用指南
最新发布
gitblog_00549的博客
08-24 883
ThingsBoard客户端SDK使用指南 项目地址:https://gitcode.com/gh_mirrors/th/thingsboard-client-sdk 项目介绍 ThingsBoard是一款强大的开源物联网（IoT）平台，致力于提供设备管理、数据收集、规则引擎、数据分析以及用户界面定制等全面的IoT解决方案。thingsboard/client-sdk 是其对应的客户端软件开发工具...
fate框架找不到 flow 命令
呆萌的代Ma
10-21 1120
在Doc中，马上就用了flow命令，而还没有给出flow在哪里，所以这篇博客解决这个问题 参考网站：https://github.com/FederatedAI/FATE/blob/master/examples/pipeline/README.rst 博主是fate-standalone-1.5.0 首先到原始的路径 python -m venv venv source venv/bin/activate pip install -i https://pypi.tuna.tsinghua.edu.cn/s
FateFlow及Fateboard模块代码结构分析
dahaiwang的专栏
07-22 2912
FateFlow模块代码结构： 文件总的配置文件入口 setting.py * mysql数据库配置 (默认使用本地sqlite db文件存储) * redis数据库配置 arch/conf/server_conf.json 各服务对应的主机和端口号 fateboard 端口号默认为8080 fateflow http端口号默认为9380 gRPC端口号默认为9360 常用的一些工具类 db_models.py 数据库连接类 .
FATE Flow 源码解析 - 资源分配流程
易迟的专栏
07-15 833
在上一篇文章中介绍了 FATE 的作业处理流程，对于资源管理没有深入介绍，本篇文章就是来补充相关细节。众所周知，FATE 是一个联邦学习框架，涉及了多个参与方（FATE 中叫站点）进行模型的训练，而各个参与方的训练过程都需要使用 CPU 资源和内存资源，因此在作业执行前需要提前先申请好必要的资源，才能避免在执行中避免因为资源不足而导致执行失败。而 FATE 中单个作业会包含多个任务，每个任务需要独立使用一定量的资源，因此任务会有独立的资源申请与释放资源的流程。
AWS Client端SDK授权方案(Amazon Cognito 身份池)
Andy Tools
05-21 9845
文章目录1 Amazon Cognito 简介用户池身份池2 移动端通过Amazon Cognito接入架构2.1 使用用户池或公共登录提供商2.2 经过开发人员验证的身份3 实际使用3.1 创建身份池并自定义验证方案及权限3.2 账户服务器返回token及IdentityId3.3 终端使用token及IdentityId授权AWS SDK4 参考链接 协助同事接入AWS mobile SDK，...
Fate Serving安装部署
AI浩
08-05 3166
文章目录摘要架构图工作时序图部署安装JDK安装zookeeper安装serving-server安装serving-proxy安装serving-admin测试 摘要 fate-serving是FATE的在线部分，在使用FATE进行联邦建模完成之后，可以使用fate-serving进行在线联合预测。 FATE-SERVING 2.0 支持的特性： 单笔预测，2.0.*版本guest方与host方将并行计算，从而降低了耗时。 批量预测，2.0.*版本开始引入的新的特性，一次请求可以批量提交一批需要预测的数据
API 和 SDK 的区别
qq_39564710的博客
02-05 349
API:只需要传固定的地址，向地址传递参数，实现功能 可以 用 httpClient 技术可以调用api 地址 例如： SDK : sdk是对api的封装，更方便用，只需要我们导入 maven 依赖 或者 jar包，就可以直接使用里面的 类和 方法了 ...
FATE 命令行学习笔记
喵十八的修行记录
08-25 1080
目录使用方式JOB_OPERATEsubmit_jobstop_jobquery_jobclean_jobdata_view_queryJOBjob_configjob_logTASK_OPERATEquery_taskTRACKINGcomponent_parameterscomponent_metric_allcomponent_metricscomponent_output_modelcomponent_output_datacomponent_output_data_tableDATAdownloa
fate框架使用记录
weixin_38009252的博客
09-29 7167
文章目录在腾讯云服务器上使用fate1. secureboost进入环境上载数据2. 待更新 在腾讯云服务器上使用fate 1. secureboost 进入环境 输入ssh + 服务器地址 --> 输入密码进入服务器 使用cd FATE/命令进入框架所在文件夹 使用docker exec -it fate_python bash命令进入docker 上载数据 由于原文件夹中的upload_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值