FATE学习：跟着日志读源码（十）polling

最新推荐文章于 2022-07-07 17:20:55 发布
最新推荐文章于 2022-07-07 17:20:55 发布
阅读量495 收藏
点赞数
分类专栏： 联邦学习 # FATE 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yao544303963/article/details/119878501
版权

综述

在FATE学习：跟着日志读源码（二）fate_flow server 启动介绍过，fate_flow_server.py中的DAGScheduler(interval=2 * 1000).start()，默认每隔2s，启动一次dag_scheduler，共五种调度。
其中：

task的状态保持running不变

若task的执行时间比轮询间隔2s要长，那么在轮询期间，task的状态保持running不变，
对应的${job_log_dir}/fate_flow_schedule.log 日志为

[INFO] [2021-07-26 08:20:42,798] [1:140259369826048] - dag_scheduler.py[line:298]: scheduling job 202107260820309976351
[INFO] [2021-07-26 08:20:42,800] [1:140259369826048] - task_scheduler.py[line:28]: scheduling job 202107260820309976351 tasks
[INFO] [2021-07-26 08:20:42,836] [1:140259369826048] - job_saver.py[line:71]: try to update job 202107260820309976351 task 202107260820309976351_upload_0 0 status
[INFO] [2021-07-26 08:20:42,845] [1:140259369826048] - job_saver.py[line:76]: update job 202107260820309976351 task 202107260820309976351_upload_0 0 status update does not take effect: {'elapsed': None, 'end_time': None, 'job_id': '202107260820309976351', 'party_id': '0', 'party_status': 'running', 'role': 'local', 'start_time': 1627287632259, 'status': 'running', 'task_id': '202107260820309976351_upload_0', 'task_version': 0, 'update_time': 1627287631078}
[INFO] [2021-07-26 08:20:42,845] [1:140259369826048] - job_saver.py[line:81]: try to update job 202107260820309976351 task 202107260820309976351_upload_0 0
[WARNING] [2021-07-26 08:20:42,860] [1:140259369826048] - job_saver.py[line:86]: job 202107260820309976351 task 202107260820309976351_upload_0 0 update does not take effect
[INFO] [2021-07-26 08:20:42,867] [1:140259369826048] - task_scheduler.py[line:143]: job 202107260820309976351 task 202107260820309976351_upload_0 0 status is running, calculate by task party status list: ['running']
[INFO] [2021-07-26 08:20:42,867] [1:140259369826048] - task_scheduler.py[line:75]: finish scheduling job 202107260820309976351 tasks
[INFO] [2021-07-26 08:20:42,868] [1:140259369826048] - dag_scheduler.py[line:310]: Job 202107260820309976351 status is running, calculate by task status list: ['running']
[INFO] [2021-07-26 08:20:42,868] [1:140259369826048] - dag_scheduler.py[line:325]: finish scheduling job 202107260820309976351

调度已经为endstatus的job

源码：

        schedule_logger().info("start schedule end status jobs to update status")
        jobs = JobSaver.query_job(is_initiator=True, status=set(EndStatus.status_list()), end_time=[current_timestamp() - END_STATUS_JOB_SCHEDULING_TIME_LIMIT, current_timestamp()])
        schedule_logger().info(f"have {len(jobs)} end status jobs")
        for job in jobs:
            schedule_logger().info(f"schedule end status job {job.f_job_id}")
            try:
                update_status = self.end_scheduling_updates(job_id=job.f_job_id)
                if not update_status:
                    schedule_logger(job.f_job_id).info(f"the number of updates has been exceeded")
                    continue
                self.schedule_running_job(job=job)
            except Exception as e:
                schedule_logger(job.f_job_id).exception(e)
                schedule_logger(job.f_job_id).error(f"schedule job {job.f_job_id} failed")
        schedule_logger().info("schedule end status jobs finished")

说明：结束之后的轮询dag_scheduler.py 中，schedule end status job 部分的功能。对于5分钟内（END_STATUS_JOB_SCHEDULING_TIME_LIMIT = 5 * 60 * 1000 # ms）已经finish 的job，都还会执行end_scheduling_updates。其中只有第一次能update成功（默认参数是一次 END_STATUS_JOB_SCHEDULING_UPDATES = 1），然后再schedule_running_job 该job。
此后，每次 dag_scheduler轮询（默认每2s），都会报出如下日志：
dag_scheduler.py[line:193]: the number of updates has been exceeded

fate_flow/fate_flow_schedule.log

[INFO] [2021-07-26 08:20:48,027] [1:140259369826048] - dag_scheduler.py[line:185]: start schedule end status jobs to update status
[INFO] [2021-07-26 08:20:48,036] [1:140259369826048] - dag_scheduler.py[line:187]: have 1 end status jobs
[INFO] [2021-07-26 08:20:48,036] [1:140259369826048] - dag_scheduler.py[line:189]: schedule end status job 202107260820309976351

再一次调度schedule_running_job
${job_log_dir}/fate_flow_schedule.log 日志为

[INFO] [2021-07-26 08:20:48,044] [1:140259369826048] - dag_scheduler.py[line:298]: scheduling job 202107260820309976351
[INFO] [2021-07-26 08:20:48,046] [1:140259369826048] - task_scheduler.py[line:28]: scheduling job 202107260820309976351 tasks
[INFO] [2021-07-26 08:20:48,066] [1:140259369826048] - task_scheduler.py[line:143]: job 202107260820309976351 task 202107260820309976351_upload_0 0 status is success, calculate by task party status list: ['success']
[INFO] [2021-07-26 08:20:48,067] [1:140259369826048] - task_scheduler.py[line:75]: finish scheduling job 202107260820309976351 tasks
[INFO] [2021-07-26 08:20:48,067] [1:140259369826048] - dag_scheduler.py[line:310]: Job 202107260820309976351 status is success, calculate by task status list: ['success']
[INFO] [2021-07-26 08:20:48,067] [1:140259369826048] - dag_scheduler.py[line:502]: Job 202107260820309976351 finished with success, do something...
[INFO] [2021-07-26 08:20:48,067] [1:140259369826048] - dag_scheduler.py[line:436]: request stop job 202107260820309976351 with success
[INFO] [2021-07-26 08:20:48,074] [1:140259369826048] - dag_scheduler.py[line:445]: request stop job 202107260820309976351 with success to all party
[INFO] [2021-07-26 08:20:48,074] [1:140259369826048] - federated_scheduler.py[line:88]: try to stop job 202107260820309976351
[INFO] [2021-07-26 08:20:48,097] [1:140259119585024] - job_utils.py[line:396]: try to stop job 202107260820309976351 task 202107260820309976351_upload_0 local 0 with success party status process pid:90
[INFO] [2021-07-26 08:20:48,097] [1:140259119585024] - job_utils.py[line:399]: can not found job 202107260820309976351 task 202107260820309976351_upload_0 local 0 with success party status process pid:90
[INFO] [2021-07-26 08:20:48,100] [1:140259119585024] - job_utils.py[line:423]: start run subprocess to stop task session 202107260820309976351_upload_0_0_local_0
[INFO] [2021-07-26 08:20:48,100] [1:140259119585024] - job_utils.py[line:310]: start process command: python3 /data/projects/fate/python/fate_flow/utils/session_utils.py -j 202107260820309976351_upload_0_0_local_0 --computing EGGROLL --federation EGGROLL --storage EGGROLL -c stop
[INFO] [2021-07-26 08:20:48,111] [1:140259119585024] - job_utils.py[line:333]: start process command: python3 /data/projects/fate/python/fate_flow/utils/session_utils.py -j 202107260820309976351_upload_0_0_local_0 --computing EGGROLL --federation EGGROLL --storage EGGROLL -c stop successfully, pid is 159
[INFO] [2021-07-26 08:20:48,111] [1:140259119585024] - task_controller.py[line:254]: job 202107260820309976351 task 202107260820309976351_upload_0 0 on local 0 process 90 kill success
[INFO] [2021-07-26 08:20:48,112] [1:140259119585024] - job_saver.py[line:71]: try to update job 202107260820309976351 task 202107260820309976351_upload_0 0 status
[INFO] [2021-07-26 08:20:48,119] [1:140259119585024] - job_saver.py[line:76]: update job 202107260820309976351 task 202107260820309976351_upload_0 0 status update does not take effect: {'job_id': '202107260820309976351', 'task_id': '202107260820309976351_upload_0', 'task_version': 0, 'role': 'local', 'party_id': '0', 'party_status': 'success'}
[INFO] [2021-07-26 08:20:48,144] [1:140259119585024] - job_saver.py[line:81]: try to update job 202107260820309976351 task 202107260820309976351_upload_0 0
[WARNING] [2021-07-26 08:20:48,147] [1:140259119585024] - job_saver.py[line:86]: job 202107260820309976351 task 202107260820309976351_upload_0 0 update does not take effect
[INFO] [2021-07-26 08:20:48,151] [1:140259119585024] - job_saver.py[line:45]: try to update job 202107260820309976351 status to success
[INFO] [2021-07-26 08:20:48,156] [1:140259119585024] - job_saver.py[line:56]: update job 202107260820309976351 status does not take effect
[INFO] [2021-07-26 08:20:48,158] [1:140259369826048] - federated_scheduler.py[line:92]: stop job 202107260820309976351 success
[INFO] [2021-07-26 08:20:48,158] [1:140259369826048] - dag_scheduler.py[line:448]: stop job 202107260820309976351 with success successfully
[INFO] [2021-07-26 08:20:48,158] [1:140259369826048] - federated_scheduler.py[line:107]: try to clean job 202107260820309976351
[INFO] [2021-07-26 08:20:48,162] [1:140259119585024] - job_controller.py[line:344]: Job 202107260820309976351 on local 0 start to clean
[INFO] [2021-07-26 08:20:48,162] [1:140259119585024] - job_controller.py[line:346]: job 202107260820309976351 on local 0 clean done
[INFO] [2021-07-26 08:20:48,164] [1:140259369826048] - federated_scheduler.py[line:110]: clean job 202107260820309976351 success
[INFO] [2021-07-26 08:20:48,164] [1:140259369826048] - dag_scheduler.py[line:505]: Job 202107260820309976351 finished with success, done
[INFO] [2021-07-26 08:20:48,164] [1:140259369826048] - dag_scheduler.py[line:325]: finish scheduling job 202107260820309976351
[INFO] [2021-07-26 08:20:48,596] [148:140090979002176] - session_utils.py[line:38]: start stop session 202107260820309976351_upload_0_0_local_0
[INFO] [2021-07-26 08:20:48,762] [153:140325590579008] - session_utils.py[line:38]: start stop session 202107260820309976351_upload_0_0_local_0
[INFO] [2021-07-26 08:20:48,941] [159:140675688425280] - session_utils.py[line:38]: start stop session 202107260820309976351_upload_0_0_local_0
[INFO] [2021-07-26 08:20:50,205] [1:140259369826048] - dag_scheduler.py[line:193]: the number of updates has been exceeded
[INFO] [2021-07-26 08:20:50,227] [153:140325590579008] - session_utils.py[line:47]: stop session 202107260820309976351_upload_0_0_local_0 success
[INFO] [2021-07-26 08:20:50,233] [148:140090979002176] - session_utils.py[line:47]: stop session 202107260820309976351_upload_0_0_local_0 success
[INFO] [2021-07-26 08:20:50,240] [159:140675688425280] - session_utils.py[line:47]: stop session 202107260820309976351_upload_0_0_local_0 success

再次调度产生的日志

[INFO] [2021-07-26 08:20:52,248] [1:140259369826048] - dag_scheduler.py[line:193]: the number of updates has been exceeded
喵十八
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FateFlow及Fateboard模块代码结构分析
dahaiwang的专栏
07-22 2833
FateFlow模块代码结构： 文件总的配置文件入口 setting.py * mysql数据库配置 (默认使用本地sqlite db文件存储) * redis数据库配置 arch/conf/server_conf.json 各服务对应的主机和端口号 fateboard 端口号默认为8080 fateflow http端口号默认为9380 gRPC端口号默认为9360 常用的一些工具类 db_models.py 数据库连接类 .
FATE —— 数据集方法源码
weixin_62375097的博客
01-07 316
【代码】FATE —— 数据集方法源码。
FATE学习：跟着日志读源码（三）一般任务生命周期
喵十八的修行记录
08-24 686
综述 从联邦建模的角度去理解整个job的生命周期，就是一系列功能模块组成的DAG，可以参照fate官方的文档， 其中，各个功能模块就具体实现而言，就是fate中的各个算法或数据组件。 不过结合源码，从日志的角度来看，可以将整个job的生命周期，按照不同阶段所做的操作，进行划分。具体如下图： submit：提交 job create：创建job 和该job下对应的 tasks（相当于元数据） ，这里创建好之后，所有状态都是waiting job schedule：对于job，按照FIFO的顺序，轮询到wa
FATE联邦学习笔记（一）
Doodlera的博客
09-28 1671
学习联邦学习的概念及方法，尝试微众银行FATE框架。 单机版教程参考：横向联邦学习实践 集群版教程参考：使用FATE进行图片识别的深度神经网络联邦学习 实际使用中提出了这样一个问题：在案例中，mnist数据集是随机划分的，即每一个数据集内同时存在0~9全部标签。但是生产中存在这样一种情况：不同参与者拥有的标签完全不同，比如一方拥有0 ~4，另一方拥有 5 ~9。模拟这种情况进行尝试。在不改变算法配置的情况下报错。 ...
FATE学习：跟着日志读源码（一）日志目录结构
喵十八的修行记录
08-24 2331
综述 介绍fate运行过程中产生的各个类型日志 版本说明 部署方式为KubeFATE。相关版本为： FATE: 1.5.1 KubeFATE: v1.3.0 基本概念 job：一个完整的调度单元，可以拆分成不同的task。 task：最小的执行单元。 component：预先定义的不同组件，具体的task执行，就是运行不同的组件。 FATE框架 根据官方的架构图，在单个Party的上FATE-Flow 的架构如下 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2Rhg
PHP实例开发源码—CF Polling php投票系统.zip
11-14
通过分析和学习CF Polling的源码，开发者不仅可以掌握PHP的基本语法和编程技巧，还能深入了解Web应用的开发流程、数据库设计和交互逻辑。这对于提升PHP编程技能，特别是开发类似投票系统的实际经验，具有很大帮助。 ...
PHP在线客服系统/PHP客服在线IM源码（供大家学习研究参考）
06-28
此源码可能采用了WebSocket或Long Polling等技术来实现实时通信。WebSocket提供双向通信，允许服务器和客户端同时发送数据，而Long Polling则通过保持一个长时间的HTTP连接来模拟实时性。 3. **数据库管理** `...
polling:ruby 投票库
07-14
轮询ruby 投票库安装将此行添加到应用程序的 Gemfile 中： gem 'polling'或者自己安装： $ gem install polling用法新界面 require 'polling'Polling.start 10 do puts "test" sleep 2end结果 #[debug]=> start: ...
rx-polling::open_mailbox_with_raised_flag:具有指数补偿的基于RxJS的轮询库
05-02
接收轮询 rx-polling是一个很小的（压缩后的1KB）基于的库，用于按间隔运行轮询请求，并支持： 如果浏览器选项卡处于非活动/活动状态，请暂停并继续如果请求错误，则重试尝试如果请求出错，则采用不同的退避策略： ...
polling:流星的简单投票系统
03-11
"polling:流星的简单投票系统"是...总之，“polling:流星的简单投票系统”是一个学习和实践Meteor的好例子，它涵盖了实时应用开发的基本流程，对于想要提升全栈JavaScript开发技能的开发者来说，是一个不可多得的资源。
Fate白皮书.pdf
04-10
联邦学习白皮书，介绍了联邦学习基本概念，类别，行业应用领域以及Fate 联邦学习开源框架，系统结构，功能模块，以及各个功能模块大概介绍，具体参考github上Fate项目。
FATE联邦学习初探（一）
qq_32202885的博客
07-04 547
联邦学习自学记录 首先需要配置所需的环境，地址参考FATE/README.zh.md at master · FederatedAI/FATE · GitHub 第一步需要下载所需的FATE版本 1.8.0可以替换为自己需要的版本（记得用sudo 最后加--no-check-certificate） lhy@ubuntu:~$ sudo wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/fate/
FATE联邦学习初探（四）
qq_32202885的博客
07-07 844
在FATE中可以通过json格式的文件来上传数据并配置模型，使用json格式会减少很多操作，更加方便快捷的使用FATE联邦学习进行训练。官方文档解释地址参考tutorial - FATE下面记录我根据文档并参考一些博客使用json格式来完成横向逻辑回归。​​​所使用的数据集为MNIST手写数字识别数据集，可以从MNIST in CSV | Kaggle中下载CSV格式的数据集，在下载过程中需要注册账号并登陆，在注册过程中可能会遇到一些问题，比如加载不出来验证码，如果遇到此问题可以通过以下方式解决 点击浏览
极客星球 | FATE联邦学习框架理论与应用初探
apkkkk的博客
11-15 6558
一、背景 随着大数据、云计算等技术的发展，数据隐私安全问题受到越来越多的重视，各国都在加强数据安全和隐私保护。中国在2017年实施的《中华人民共和国网络安全法》要求网络运营者不得泄露、篡改、毁坏收集的个人信息，并且在于第三方进行数据交易时需要确保合同明确约定拟交易数据的范围和数据保护义务。欧盟也在2018年实施了法案《通用数据保护条例》(General Data Protection Regulation, GDPR)。这些法规的实施要求我们在使用和交换数据的时候更加谨慎，数据源之间彼此成为独立.
FATE学习：跟着日志读源码（九）upload任务job finsih阶段
喵十八的修行记录
08-24 344
综述 同task，job结束时，并不会返回job finish 的信息，也是在DagScheduler.schedule_running_job() 轮询时，通过calculate_job_status() 方法获取job的状态。 获取job已经finish的信息后，会返还资源和进行相关环境清理。 执行步骤 dag_scheduler.py：当调度完task后，执行calculate_job_status，计算job当前的状态。执行calculate_job_progress，计算job当前的完成进度。
Fate框架教程
热门推荐
浅若清风cyf的博客
07-28 1万+
GitHub：https://github.com/webankfintech/fate An Industrial Level Federated Learning Framework https://www.fedai.org/ 这篇文章主要是整合Fate框架安装所需的软件环境的安装方法： 软件环境：jdk1.8+、Python3.6、pythonVirtualenv、mysql5.6+、re...
从零开始详解联邦学习FATE开源平台
02-11
<img src="https://img-bss.csdn.net/202002111121343047.png" alt="" />
联邦学习框架FATE使用案例记录
weixin_38009252的博客
12-05 1万+
联邦学习框架FATE使用案例记录1横向联邦学习案例实验设置文件说明实验步骤 本文记录了FATE框架中横向和纵向联邦学习的案例使用，并与笔者近期使用过的谷歌TFF(TensorFlow-Federated)框架对比，阐述使用感受。 1横向联邦学习案例 在本节中，以逻辑回归为例记录横向联邦学习案例使用。 实验设置 数据集：信用数据，位置FATE/examples/data/default_credit...
Mina2.0快速入门与源码剖析
最新发布
09-14
"Mina2.0快速入门与源码剖析" Apache Mina是一个开源的Java框架，主要用于构建高性能、高可扩展性的网络应用程序。在Mina2.0中，我们首先从快速入门部分开始了解如何使用它。Mina提供了一个简单的示例——`...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值