FATE —— 三. 使用DSL json conf运行作业

于 2023-01-14 13:54:32 发布
阅读量248 收藏 1
点赞数
分类专栏： 联邦学习 文章标签： json java 开发语言 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_62375097/article/details/128676455
版权

DSL Conf教程

本文档将提供如何使用DSL Conf运行训练和预测任务的简短教程。我们将以hetero-secureboost为例。

上载数据

在运行作业之前，需要将数据上载到数据存储。请参考此处的示例。

提交培训任务

我们可以通过Flow Client提交conf和dsl来开始培训工作。在这里，我们提交一个异类secureboost二进制分类任务，其conf和dsl位于异类secureboost示例文件夹中。

flow job submit -c ./examples/dsl/v2/hetero_secureboost/test_secureboost_train_binary_conf.json -d ./examples/dsl/v2/hetero_secureboost/test_secureboost_train_dsl.json

然后我们可以得到一条包含model_id和model_version的返回消息。一定要注意，记住model_id和model_version。

{
    "data": {
        "board_url": "http://127.0.0.1:8080/index.html#/dashboard?job_id=202301141152024400770&role=guest&party_id=9999",
        "code": 0,
        "dsl_path": "/home/mengdu/standalone_fate_install_1.10.0_release/fateflow/jobs/202301141152024400770/job_dsl.json",
        "job_id": "202301141152024400770",
        "logs_directory": "/home/mengdu/standalone_fate_install_1.10.0_release/fateflow/logs/202301141152024400770",
        "message": "success",
        "model_info": {
            "model_id": "guest-9999#host-9998#model",
            "model_version": "202301141152024400770"
        },
        "pipeline_dsl_path": "/home/mengdu/standalone_fate_install_1.10.0_release/fateflow/jobs/202301141152024400770/pipeline_dsl.json",
        "runtime_conf_on_party_path": "/home/mengdu/standalone_fate_install_1.10.0_release/fateflow/jobs/202301141152024400770/guest/9999/job_runtime_on_party_conf.json",
        "runtime_conf_path": "/home/mengdu/standalone_fate_install_1.10.0_release/fateflow/jobs/202301141152024400770/job_runtime_conf.json",
        "train_runtime_conf_path": "/home/mengdu/standalone_fate_install_1.10.0_release/fateflow/jobs/202301141152024400770/train_runtime_conf.json"
    },
    "jobId": "202301141152024400770",  # 一定要注意，这里的jobId不同，记得替换成自己的
    "retcode": 0,
    "retmsg": "success"
}

检索model_id和model_version

忘记在返回的消息中保存model_id和model_version？不用担心。您可以使用“flow job config”命令查询作业的相应model_id和model_version。将jobId替换成自己的后，再执行。

flow job config -j 202301141152024400770 -r guest -p 9999 -o ./

执行完后，返回信息如下

{
    "data": {
        "job_id": "202301141152024400770",
        "model_info": {
            "model_id": "guest-9999#host-9998#model",  # 部署模型所需model_id
            "model_version": "202301141152024400770"  # 部署模型所需model_version
        },
        "train_runtime_conf": {}
    },
    "retcode": 0,
    "retmsg": "download successfully, please check /home/mengdu/standalone_fate_install_1.10.0_release/job_202301141152024400770_config directory",
    "directory": "/home/mengdu/standalone_fate_install_1.10.0_release/job_202301141152024400770_config"
}

生成预测conf并生成预测dsl

我们使用flow_client部署预测任务中所需的组件：将jobId以及model_id和model_version替换成自己的后，再执行。

flow model deploy --model-id guest-9999#host-9998#model --model-version 202301141152024400770 --cpn-list "data_transform_0, intersection_0, hetero_secure_boost_0"

执行完后，返回信息如下

{
    "data": {
        "detail": {
            "guest": {
                "9999": {
                    "retcode": 0,
                    "retmsg": "deploy model of role guest 9999 success"
                }
            },
            "host": {
                "9998": {
                    "retcode": 0,
                    "retmsg": "deploy model of role host 9998 success"
                }
            }
        },
        "guest": {
            "9999": 0
        },
        "host": {
            "9998": 0
        },
        "model_id": "guest-9999#host-9998#model",  # 用于预测conf
        "model_version": "202301141200341245360"  # 用于预测conf
    },
    "retcode": 0,
    "retmsg": "success"
}

然后我们可以通过deploymodel_id和model_version获得返回消息。

预测conf- json详解

我们可以通过将model_id、model_version和数据集名称替换为您的名称来修改现有的预测conf，以生成新的预测conf。这里，我们将预测conf中的model_id和model_versin替换为部署模型作业返回的model_id和model_version。

{
    "dsl_version": 2,
    "initiator": {
        "role": "guest",
        "party_id": 10000
    },
    "role": {
        "host": [
            9999
        ],
        "guest": [
            10000
        ]
    },
    "job_parameters": {
        "common": {
            "job_type": "predict",
            "model_id": "guest-9999#host-9998#model", <<-- 要替换，请按部署模型返回
            "model_version": "202301141152024400770"  <<-- 要替换，请按部署模型返回
        }
    },
    "component_parameters": {
        "role": {
            "guest": {
                "0": {
                    "reader_0": {
                        "table": {
                            "name": "breast_hetero_guest", <<-- 可以在此处设置新数据集
                            "namespace": "experiment"
                        }
                    }
                }
            },
            "host": {
                "0": {
                    "reader_0": {
                        "table": {
                            "name": "breast_hetero_host",  <<-- 可以在此处设置新数据集
                            "namespace": "experiment"
                        }
                    }
                }
            }
        }
    }
}
我们还可以生成deploymodel返回的predictconf、model_id和model_version：
flow model get-predict-conf --model-id guest-9999#host-9998#model --model-version 202301141152024400770 -o ./
{
    "retcode": 0,
    "retmsg": "Query predict conf successfully. File path is: /home/mengdu/standalone_fate_install_1.10.0_release/predict_conf_20230114122548.json"
}
predict_conf_20230114122548.json内容如下
官网给出的代码如下
{
    "data": {
        "component_parameters": {
            "role": {
                "guest": {
                    "0": {
                        "reader_1": {
                            "table": {
                                "name": "name_to_be_filled_0",  <<-- 可以在此处设置新数据集
                                "namespace": "namespace_to_be_filled_0"  <<-- 可以在此处设置新数据集
                            }
                        }
                    }
                },
                "host": {
                    "0": {
                        "reader_1": {
                            "table": {
                                "name": "name_to_be_filled_0",  <<-- 可以在此处设置新数据集
                                "namespace": "namespace_to_be_filled_0"  <<-- 可以在此处设置新数据集
                            }
                        }
                    }
                }
            }
        },
        "dsl_version": 2,
        "initiator": {
            "party_id": 9999,
            "role": "guest"
        },
        "job_parameters": {
            "common": {
                "job_type": "predict",
                "model_id": "guest-9999#host-9998#model",   <<-- 不需要设置
                "model_version": "202301141152024400770",   <<-- 不需要设置
            }
        },
        "role": {
            "guest": [
                12001
            ],
            "host": [
                12000
            ]
        }
    },
    "retcode": 0,
    "retmsg": "success"
}
笔者生成的代码如下
{"dsl_version": 2, "role": {"host": [9998], "guest": [9999]}, "initiator": {"role": "guest", "party_id": 9999}, "job_parameters": {"common": {"job_type": "predict", "inheritance_info": {}, "computing_engine": "STANDALONE", "engines_address": {}, "federated_mode": "SINGLE", "task_parallelism": 1, "computing_partitions": 4, "federated_status_collect_type": "PUSH", "model_id": "guest-9999#host-9998#model", "model_version": "202301141152024400770", "auto_retries": 0, "auto_retry_delay": 1, "eggroll_run": {}, "spark_run": {}, "rabbitmq_run": {}, "pulsar_run": {}, "adaptation_parameters": {"task_nodes": 1, "task_cores_per_node": 4, "task_memory_per_node": 0, "request_task_cores": 4, "if_initiator_baseline": true}}}, "component_parameters": {"role": {"host": {"0": {"reader_0": {"table": {"name": "name_to_be_filled_0", "namespace": "namespace_to_be_filled_0"}}, "reader_1": {"table": {"name": "name_to_be_filled_1", "namespace": "namespace_to_be_filled_1"}}}}, "guest": {"0": {"reader_0": {"table": {"name": "name_to_be_filled_0", "namespace": "namespace_to_be_filled_0"}}, "reader_1": {"table": {"name": "name_to_be_filled_1", "namespace": "namespace_to_be_filled_1"}}}}}}}

提交预测作业

然后我们可以提交一个新的预测作业（文件位置自行调整）：

flow job submit -c ./test_predict_conf.json
test_predict_conf.json如下
官网给出的代码如下
{
    "dsl_version": 2,
    "initiator": {
        "role": "guest",
        "party_id": 9999
    },
    "role": {
        "host": [
            10000
        ],
        "guest": [
            9999
        ]
    },
    "job_parameters": {
        "common": {
            "model_id": "guest-10000#host-9999#model",
            "model_version": "20200928174750711017114",
            "job_type": "predict"
        }
    },
    "component_parameters": {
        "role": {
            "guest": {
                "0": {
                    "reader_0": {
                        "table": {
                            "name": "breast_hetero_guest",
                            "namespace": "experiment"
                        }
                    }
                }
            },
            "host": {
                "0": {
                    "reader_0": {
                        "table": {
                            "name": "breast_hetero_host",
                            "namespace": "experiment"
                        }
                    }
                }
            }
        }
    }
}
笔者写的代码如下
{
    "dsl_version": 2,
    "initiator": {
        "role": "guest",
        "party_id": 9999
    },
    "role": {
        "host": [
            9998
        ],
        "guest": [
            9999
        ]
    },
    "job_parameters": {
        "common": {
            "model_id": "guest-9999#host-9998#model",
            "model_version": "202301141152024400770",
            "job_type": "predict"
        }
    },
    "component_parameters": {
        "role": {
            "guest": {
                "0": {
                    "reader_0": {
                        "table": {
                            "name": "breast_hetero_guest",
                            "namespace": "experiment"
                        }
                    }
                }
            },
            "host": {
                "0": {
                    "reader_0": {
                        "table": {
                            "name": "breast_hetero_host",
                            "namespace": "experiment"
                        }
                    }
                }
            }
        }
    }
}

MMM881
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
proxy.conf.json
06-10
proxy file
conf.user.json
07-24
此资源是修改Typora快捷键的脚本文件，网友可自行下载。
FATE —— 三.2 FATE-Flow document
weixin_62375097的博客
01-13 216
生成的模型部署到在线推理系统中，当前支持创建基于 KFServing 的推理服务。用指定的 Checkpoint 模型替换 Pipeline 模型。用指定的 Checkpoint 模型替换 Pipeline 模型。向 Fate-Serving 加载 deploy 生成的模型。向 Fate-Serving 绑定 deploy 生成的模型。基于横向训练的模型，生成其他 ML 框架的模型文件。从本地或存储引擎中导入模型。导出模型到本地或存储引擎中。从模型中添加或删除标签。获取模型的标签列表。
dsl json java_Java DslJson类代码示例
weixin_28750663的博客
02-13 553
import com.dslplatform.json.DslJson; //导入依赖的package包/类@Overrideprotected void onCreate(Bundle savedInstanceState) {super.onCreate(savedInstanceState);setContentView(R.layout.activity_main);DslJson dsl...
flow 命令的安装与使用
AI浩
08-23 2133
文章目录1 安装2 初始化3 Data`download``upload``upload-history`3 Job`submit``stop``query``view``config``log``list``dsl`4 Model`load``bind``import``export``migrate``tag-list``tag-model``deploy``get-predict-dsl``get-predict-conf``get-model-info`5 Component (TRACKING)`
FATE联邦学习框架简易使用实践
a12as3d7的博客
06-19 1049
FATE联邦学习框架简易使用实践
Flowable报错：Invalid deploy result code: HTTP/1.1 500
橙色
07-05 1215
flowable-modeler发布时报错Invalid deploy result code: HTTP/1.1 500 只保留流程中的用户任务，其他任务（邮件任务、设置任务、...）删去 可以发布成功了。 猜测：可能是其他任务只是放在流程里，没有进行任何配置 而用户任务进行了用户分配配置，所以可以使用？ 具体原因没有进行验证...... ...
ganglia——redis.py
09-09
ganglia监控redis的py文件，直接可用，需修改端口号与地址，conf文件请看我其他文件，文件没有改过，复制到对应路径即可。
redis哨兵模式（csdn）————程序.pdf
12-03
例如，假设我们在5000端口上运行了一个Redis主节点，并配置了哨兵机制。当我们关闭5000端口的Redis主节点后，哨兵会自动选择6000端口的Redis节点作为新的主节点。新的主节点将会同步数据到从节点，实现高可用性。 ...
redis主从复制（csdn）————程序.pdf
12-03
在Redis的配置文件中（如`redis5000.conf`），默认配置即可运行。可以通过`redis-cli`工具连接到主节点，例如`redis-cli.exe -h 127.0.0.1 -p 5000`。 2. **从节点配置**： 从节点需要知道主节点的IP和端口以便...
Node.js-一个输出JSON模式的DSL
08-10
一个输出JSON模式的DSL
How-to-Deploy-a-Tensorflow-Model-in-Production:这是Siraj Raval在YouTube上发布的“如何在生产中部署Tensorflow模型”的代码
03-07
如何在生产中部署Tensorflow模型 这是Siraj Raval在YouTube上发布的“如何在生产中部署Tensorflow模型”的代码 概述 这是Siraj Raval在YouTube上录制的视频的代码。 我们将使用库在生产中部署初始模型。 依存关系 所有这些都包含在iPython笔记本中。 您只需要 用法 通过在主目录的终端中运行jupyter notebook notebook来运行jupyter notebook 。 所有说明都在那儿。 随附的2个文件-一个是客户端，另一个是我们如何训练和保存用于Tensorflow Serving的简单MNIST模型的示例。 学分 积分归Google所有。 我只是创建了一个包装器来使人们开始使用。
联邦学习fate框架入门
Young_____Hu的博客
10-20 741
联邦学习fate
序列化、反序列化protobuf、dsl-json、Jsoniter等性能对比
join_null的博客
07-16 1046
http://www.sohu.com/a/136487507_505779
elasticearch通过JAVA API直接使用DSL JSON进行查询
tcyzhyx的博客
11-27 9226
具体代码示例如下： StringBuffer dsl = new StringBuffer(); dsl.append("{\"bool\": {"); dsl.append(" \"must\": ["); dsl.append(" {"); dsl.append(" \"term\": {"); ds
dsl json java_Elasticsearch如何查询使用JSON字符串的DSL
weixin_36215903的博客
02-23 1401
背景Java处理ES查询逻辑，有一种情况是用户从其他地方粘贴或者手动输入的JSON字符串的DSL语句；这个时候就没法使用QueryBuilder来构建所需要的SearchSource。查了查发现有个Wrapper的方式可以处理；实现代码贴在下面了。首先创建WrapperQueryBuilder对象，通过两种方式均可。1是直接new、2是调用静态方法wrapperQuery；其次还是创建Search...
dsl json java_使用DSLJson而不是Jackson？
weixin_39622760的博客
02-13 594
从Json值检查get Object的情况来看，DslJson是更快的Jackson所以我们应该使用DslJson代替JackSon吗？B / c正如我在许多在线文档中看到的那样，它看起来比Dsljson更受欢迎，所以如果速度更快，为什么这个API不受欢迎？有什么理由吗？我的小检查员：public class App {public static void main(String[] args) ...
android dsl-json,寻找一个DSL来将JSON转换成CSV
weixin_30175751的博客
05-29 127
I need to convert hierarchical data (AVRO data, which boils down to JSON) into tabular data (csv). Since AVRO have strict schema, I know essentially what form the JSON will take, but I have to do this...
FATE使用手册
every place is the center of the universe
09-19 6942
python fate_flow operation task_executor 。。。 模型，pipeline-mini-demo运行—（1）添加链接描述
logstash 配置文件——rsyslog.conf
最新发布
05-21
以下是一个示例的 Logstash 配置文件 rsyslog.conf，用于从 rsyslog 接收日志数据并将其发送到 Elasticsearch： ``` input { tcp { port => 5000 type => syslog } } filter { if [type] == "syslog" { grok { match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" } add_field => [ "received_at", "%{@timestamp}" ] add_field => [ "received_from", "%{host}" ] } date { match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ] } } } output { elasticsearch { hosts => ["localhost:9200"] index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}" } } ``` 该配置文件中，input 插件使用 TCP 协议监听 5000 端口，并将接收到的所有数据类型标记为 syslog。filter 插件使用 grok 插件解析 syslog 消息，并使用 date 插件将 syslog 时间戳转换为 Logstash 可识别的时间格式。最后，output 插件将处理后的日志数据发送到 Elasticsearch。注意，该示例仅适用于 rsyslog 日志数据，对于其他类型的日志数据需要根据实际情况进行相应的修改。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值