airflow管理界面无法将任务设置为 on (unpause) 状态

最新推荐文章于 2021-11-14 15:20:57 发布
最新推荐文章于 2021-11-14 15:20:57 发布
阅读量277 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xufwind/article/details/114062491
版权

airflow调试通后，在界面上能看到任务，直接测试任务也能正常执行，但是始终没办法将DAG从off变为on，点击成on后再刷新界面，状态又会变为off
airflow使用的版本是 1.10.10
在网上查了很久，发现可能是flask的版本问题引起的
后面打开控制台，修改状态后发现请求直接报的 400 ……，但是页面上居然没有直接的报错信息，让人难受

在这里插入图片描述
发现这个后问题基本就定位到了, 原来是请求都没有发送到服务端，解决方式目前想到的有两种

  • 一种是替换flask版本(这个是在网上找到的): 替换flask版本
  • 直接修改airflow的表dag，将需要的dag的paused设置为 0
xufwind
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Airflow的dag的解析方法
peking1987的专栏
10-30 2489
从Job.py SchedulerJob类的_execute方法开始 def _execute(self): self.log.info("Starting the scheduler") # DAGs can be pickled for easier remote execution by some executors pickle...
AirFlow常见问题汇总
weixin_30429201的博客
07-31 1460
airflow常见问题的排查记录如下: 1，airflow怎么批量unpause大量的dag任务 ​ 普通少量任务可以通过命令airflow unpause dag_id命令来启动，或者在web界面点击启动按钮实现，但是当任务过多的时候，一个个任务去启动就比较麻烦。其实dag信息是存储在数据库中的，可以通过批量修改数据库信息来达到批量启动dag任务的效果。假如是用mysql作为sql_alche...
airflow 使用踩坑
python_tty的专栏
05-29 5398
定时任务不执行 如果代码没有问题，有可能是dag文件中的开始时间参数设置的不对。如果开始时间设置的是对的话，定时任务会自动执行。 ariflow scheduler -D scheduler有可能启动不了，把airflow-scheduler.pid文件删掉 ...
airflow问题系列1 —— Airflow调度了但不执行任务
无影独白
01-09 1万+
1.错误描述 所有脚本在调度了之后但都不执行任务。如下图所示： 2.错误原因： 这是因为airflow的其中一个进程scheduler down掉的原因。在服务器上查看进程webserver和scheduler ps -ef | grep 'webserver' ps -ef | grep 'scheduler' 如果进程down掉就将进程重启放在后台运行。 airflow ...
Airflow元数据表dag介绍
chenzuoli的博客
11-13 1319
标题: Airflow元数据表dag介绍 日期: 2021-11-13 09:37:09 标签: [airflow, dag] 分类: 调度系统 大家好，我是Lee。 上次介绍了airflow的元数据表log，里面的主要字段event是干嘛的，怎么识别手动操作和系统操作，今天就说下dag表中的一些字段，是什么意思，该怎么用。 我使用的airflow是1.10.14版本。 先看下表结构： Field Type Null Key Default Extra dag_id varchar(2.
Airflow 重跑dag中部分失败的任务
weixin_33895475的博客
09-18 2408
重跑dag中部分失败的任务 例如 dagA 中， T1 >> T2 >> T3 >> T4 >> T5 ，其中 T1 T2 成功， T3 失败， T4 T5因为依赖 T3，也不会运行。 跳过 T1 T2 重跑 T3 T4 T5 的方法是： （1）点击 T3 clear ，默认会clear T4 T5 的状态 （2）返回到上一级，点...
Airflow：Python工作流管理利器
02-25
这意味着，在编写工作流时，您应该考虑如何将你的任务划分为多个可独立执行的任务，然后，将这些任务合并为一个逻辑整体，将其组合成一个图，从而实现我们的工作流结果，例如：图的形状决定了你工作流的整体逻辑。...
incubator-airflow：定时任务管理平台，管理和调度各种离线定时任务，自带 Web 管理界面-python
06-18
使用 Airflow 将工作流创作为任务的有向无环图 (DAG)。 Airflow 调度程序在遵循指定的依赖项的同时在一组工作人员上执行您的任务。 丰富的命令行实用程序使在 DAG 上执行复杂的手术变得轻而易举。 丰富的用户...
airflow-exporter:Airflow插件可将dag和基于任务的指标导出到Prometheus
05-11
将基于dag和任务的指标从Airflow公开到Prometheus兼容端点。 与Airflow版本的兼容性 > = 2.0 当前版本与Airflow 2.0+兼容 <= 1.10.14，> = 1.10.3 兼容v1.3.2 注意：带有Python 3.8用户的Airflow 1.10.14 您...
airflow-boilerplate:用于使用Airflow的完整开发环境设置
05-19
气流样板根据，一个完整的开发环境设置可以与Airflow一起使用。 如果您有兴趣了解此设置背后的想法和过程，请阅读本文。 否则，如果您想立即动手操作，则可以跳过它，而只需按照以下说明进行操作即可。 该样板工具比...
simple-dag-editor:零配置Airflow插件，可让您管理DAG文件
03-08
简单编辑器 SimpleDagEditor是的零配置插件。 它提供了指向您的dag_folder目录的文件管理界面。 有了这个插件，您就可以删除，复制和编辑dag。 系统要求 气流1.10.x 未测试过Airflow 2.x 手动安装 将“ simple_dag_editor”文件夹复制到您的插件目录中 重新启动气流实例 Open Admin-简单的DAG编辑器 套件安装 安装插件（pip install simple-dag-editor） 重新启动气流实例 Open Admin-简单的DAG编辑器 屏幕截图 可选配置 [dag_editor]-禁用（默认-False）
Airflow安装配置和web端插件安装
07-01
网络中关于airflow的资料比较少，这里做了一下整理： 1.整理centos7中airflow的安装配置 2.原生airflow默认不支持web端的拖拽实现dag,需要写python脚本，这里我做了一个插件安装说明，可以从网页端实现dag的编写
airflow-rest-api-plugin：Apache Airflow的插件，它公开了命令行界面的其余端点
02-05
气流REST API插件 描述 的插件，公开了airflow文档中列出的Command Line Interfaces的REST端点： 该插件还包括其他自定义REST API。 系统要求 气流版本 1.X 依存关系 如果您正在使用Airflow v1.10.3或更低版本的最新插件版本v1.0.8，则需要手动安装flask_jwt_extended模块。 部署说明 如果不存在，则创建plugins文件夹。 您应该放置的位置通常位于{AIRFLOW_HOME} / plugins。 可以在airflow.cfg文件中找到特定位置： plugins_folder = / home / {USE
Airflow 中文文档：UI /截图
热门推荐
龙哥盟
11-29 3万+
通过Airflow UI，您可以轻松监控数据管道并对其进行故障排除。 以下是您可以在Airflow UI中找到的一些功能和可视化的快速概述。 DAGs查看 您环境中的DAG列表，以及一组有用页面的快捷方式。 您可以一目了然地查看成功，失败或当前正在运行的任务数量。 树视图 跨越时间的DAG的树表示。 如果管道延迟，您可以快速查看不同步骤的位置并识别阻塞步骤。 阅读全文／改进本文 ...
AirFlow 使用指南三 第一个DAG示例
SmartSi
08-03 3万+
经过前两篇文章的简单介绍之后，我们安装了自己的AirFlow以及简单了解了DAG的定义文件．现在我们要实现自己的一个DAG． 1. 启动Web服务器 使用如下命令启用: airflow webserver 现在可以通过将浏览器导航到启动Airflow的主机上的8080端口来访问Airflow UI，例如：http://localhost:8080/admin/ 备注 Airfl...
Airflow实战--REST API的使用
zg_hover的专栏
11-14 3596
Airflow REST API的使用 Airflow-2.2.1提供了稳定的REST API，这样可以通过这些REST API来对airflow中的任务进行操作。airflow中的REST接口的说明可以查看这里的文档。 1.配置并创建用户 修改配置文件 修改配置文件 修改配置文件airflow.cfg，把auth_backend选项的值修改成以下值。 auth_backend = airflow.api.auth.backend.basic_auth 创建访问用户 添加一个user1用户 通过
Web开发使用JS的异步请求下载文件浏览器无响应
世俗的眼光
07-16 1305
Web开发使用JS的异步请求下载文件浏览器无响应 1、前端页面关键代码 ... <button class="layui-btn layui-btn-sm" lay-event="downloadReport">下载报告</button> ... <script> ... if(obj.event === 'downloadReport'){ layer.msg("正在生成报告....，请稍等.....",{icon:6,time:20
Apache Airflow入门与实战：工作流管理系统深度解析
Apache Airflow 是一个由 Airbnb 开发的开源工作流管理系统，它在数据处理、自动化任务执行以及 DevOps 操作等方面发挥着关键作用。本文将带你从入门开始，深入理解 Airflow 的概念、术语以及如何将其应用到实际场景...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值