airflow 遇坑记录

最新推荐文章于 2021-08-25 21:28:08 发布
最新推荐文章于 2021-08-25 21:28:08 发布
阅读量517 收藏
点赞数
分类专栏： 问题和坑 文章标签： airflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37742059/article/details/88666651
版权

先就简单记录下自己使用airflow遇到的问题吧

写成体系以后有精力再说。

1. https://github.com/sdispater/pendulum/issues/267，就是这个描述的问题，python3+airflow+mysql中pymysql的一点问题，最后修改源码得到解决。

 

帅气的Antony
关注
专栏目录
airflow的坑
weixin_34258078的博客
07-30 173
2019独角兽企业重金招聘Python工程师标准>>> ...
airflow 使用踩坑
python_tty的专栏
05-29 5457
定时任务不执行 如果代码没有问题，有可能是dag文件中的开始时间参数设置的不对。如果开始时间设置的是对的话，定时任务会自动执行。 ariflow scheduler -D scheduler有可能启动不了，把airflow-scheduler.pid文件删掉 ...
airflow 1.10.12踩坑
barry8023的博客
11-18 274
切换airflow账户 echo "export AIRFLOW_HOME=~/airflow" >> ~/.bashrc yum -y install gcc yum install -y libffi-devel python-devel openssl-devel yum install python3-devel yum install -y mysql-devel pip3 install pymysql pip3 install mysql sudo rm -f /etc..
Airflow2.1.1实战中踩过的坑总结!!
....
08-18 5515
    从初次接触Airflow到正式使用已经过取一个月,对Airflow也有了一个最基本的了解.使用过程中,踩了不少坑. 同时根据实际使用情况对airflow做了一些优化,现在把踩过的坑分享给大家,共勉!     博客列举的所有问题均是自己亲身经历,如有不严谨或者不正确的地方,烦请指出. 遇到什么问题或者有什么心得也欢迎与我交流! 注: 本博客使用的Airflow版本为2.1.1,细节之处可能与其它版本有所出入! 文章目录一.
Airflow2.x分布式部署dag执行失败日志无法正常获取问题
....
08-25 5122
在上一篇博客中,我总结了使用Airflow过程中踩过的坑.和一些解决方案, 链接如下: Airflow2.1.1实战中踩过的坑总结!! 篇幅所限,把该博客的第11个问题单独整理出来 11. 分布式部署场景下,dag执行失败,日志无法正常查看的问题 文章目录一. 问题详细表现1.1 Airflow必要环境信息1.2 报错表现二. 问题排查与处理2.1 初步分析源码,大致定位问题2.2 确定解决方向2.3 单节点和分布式执行对比三. 进一步排查测试四.经验与教训思维固化不够细心五. 吐槽 一. 问题详细表现 1
airflow-exporter:Airflow插件可将dag和基于任务的指标导出到Prometheus
05-11
将基于dag和任务的指标从Airflow公开到Prometheus兼容端点。 与Airflow版本的兼容性 > = 2.0 当前版本与Airflow 2.0+兼容 <= 1.10.14，> = 1.10.3 兼容v1.3.2 注意：带有Python 3.8用户的Airflow 1.10.14 您...
Airflow Documentation
10-31
- **日志记录**：Airflow 提供了多种方式来记录日志，包括本地文件系统、Amazon S3、Azure Blob Storage、Google Cloud Storage 等。 - **本地文件系统**：默认情况下，Airflow 将日志记录到本地文件系统。 - **...
airflow笔记资料
04-16
Apache Airflow是一款强大的工作流管理工具，用于编排、调度和监控复杂的业务逻辑。这款开源软件设计用于构建数据管道，支持大数据处理任务，且适用于各种跨系统和跨服务的工作流程。在Airflow笔记资料中，我们可以...
airflow调度问题排查
01-07
现在公司使用的airflow调度器很慢，每次clear一个task之后，这个task要过一段时间才会被调度器调度到，这个时间大约需要15-30s。 使用的airflow版本较老：v1.7.1.3 排查 参数问题 airflow.cfg这个文件里面有很多的...
airflow-code-editor:Apache Airflow的插件，可让您在浏览器中编辑DAG
04-27
您可以使用它来查看Git历史记录，查看本地更改并提交。 系统要求 气流版本1.10.3或更高版本 git版本2.0或更高版本 屏幕截图 部署说明 安装插件 点安装气流代码编辑器 （可选）安装Black Python代码格式化程序。 点...
airflow入坑指南
u013496080的博客
10-31 2066
1.安装 默认的安装目录是在~/airflow目录下，为了安装到制定目录需要配置环境变量 vi /root/.bashrc # vi  /etc/profile  没起作用 &gt;&gt; export AIRFLOW_HOME=/data/airflow #修改默认安装目录 source /root/.bashrc  # source /etc/profile #使配置生效 sudo pi...
从0到1，AirFlow搭建踩坑历程
迷恋晓峰
04-27 7403
背景：ETL会经常使用脚本（bash/python）+crontab来运行数据处理任务查看任务执行情况不直观方便，只能登录机器、或者写一个界面/监控存在依赖关系的任务没办法保证，或者保证的方法成本太高任务量达到一定量级，任务的管理将极其棘手调研：Airflow Oozie + Python Code for DAGs --- Java or XML for DAGs + Has connect...
一个适合小公司用的 data pipeline 工具
weixin_34274029的博客
12-15 4225
最近在Prettyyes一直想建立起非常专业的data pipeline系统，然后没有很多时间，这几个礼拜正好app上线，有时间开始建立自己的 data pipeline，能够很好的做每天的数据导入，数据收集，以及数据分析。 什么是ETL ETL 是常用的数据处理，在以前的公司里，ETL 差不多是数据处理的基础，要求非常稳定，容错率高，而...
airflow分布式部署踩坑记录之安装篇<1>
记录点滴成长......
07-20 4336
前言 airflow是一款基于python的开源任务流调度系统，但是关于airflow的安装教程比较匮乏。本人在亲自安装的过程中遇到了很多奇葩的问题，期间也参考了网上的各种资料，在此做下记录，以备不时之需。 系统环境 操作系统 Centos6.5 python 2.7.12 如果你拿到的是一台新安装了Centos6.5系统的机器，那么你可能要多做一些准备工作： 1.检查你的机...
airflow常见问题汇总
Gzigithub的博客
01-03 9219
AirFlow常见问题汇总 airflow常见问题的排查记录如下: 1，airflow怎么批量unpause大量的dag任务 ​ 普通少量任务可以通过命令airflow unpause dag_id命令来启动，或者在web界面点击启动按钮实现，但是当任务过多的时候，一个个任务去启动就比较麻烦。其实dag信息是存储在数据库中的，可以通过批量修改数据库信息来达到批量启动dag任务的效果。假如是用...
airflow踩坑记录
weixin_42130167的博客
07-09 2270
参考链接：https://www.cnblogs.com/jimtheman/p/8465754.html 1、初始化airflow后，链接数据库改为postgresql，但是测试task时总是报错： (env) ××@pc:~/workspace/airflow$ airflow test example_bash_operator run_after_loop 2019-07-06 sq...
airflow调度使用心得
qqq932778763的博客
02-23 2781
从第一次接触airflow到生产投产使用已经有近两个月的时间了，从部署到开发到运维调优，期间也遇到各种各样的问题，自己也从听说到熟悉。这篇博客主要从三个方面着手。 一、安装部署airflow 调度工具airflow安装使用 一、安装airflow 1.环境准备： 1.1.安装mysql数据库 解压 mariadb包： tar -xzvf mariadb-10.2.14-linux-x86_64.t...
Airflow填坑 - 生产环境实战，开始时间与周期的设置
热门推荐
JK_GOME的博客
07-31 1万+
对于Airflow的介绍、作用，在此不做赘述，以下是本人在工作中，对于Airflow的使用和一些填坑，希望对您有所帮助。 首先，介绍一下需求 在大数据处理阶段，也就是数据的ETL，我们通过公司自己开发的平台，将各个业务流程模型化，模型 = 输入算子 + 数据处理算子（SQL化，底层为sparksql） + 输出算子，类似于这种模型，代表一个个的业务，对于开发者来说，当然比较方便，但在客户公司去...
airflow 使用心得，从环境到部署上线
猴子饲养员的博客
05-12 7807
使用版本： python 3.6.8 apache-airflow 1.10.3 安装 python 环境准备 apache-airflow 对于 python 版本限制如下： requires Python '>=2.7,!=3.0.*,!=3.1.*,!=3.2.*,!=3.3.*,!=3.4.*' # wget 用于下载源码包， gcc 和 make 用于编译 yum instal...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值