![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
airflow
文章平均质量分 58
记录在airflow使用过程中的一些问题
Pianist Of Keyboard
这个作者很懒,什么都没留下…
展开
-
How to fix “Failed to fetch log file from worker. Unsupported URL protocol“ error in Airflow DAG log
有些时候手动执行dag或者新增dag就会出现在会出现这个问题原创 2023-06-02 16:03:43 · 301 阅读 · 0 评论 -
airflow的官方镜像内解决pyarrow动态链接库的问题
背景用airflow的官方镜像来做任务更新。同时需要建一个miniconda环境安装pyarrow包,2.2.0版本的官方镜像安装pyarrow就能直接使用,但是从2.2.1开始往后的镜像内,安装pyarrow没问题,但是一旦到使用的时候就开始报错大概意思是我的动态链接库版本太低,找不到需要的版本。解决参考 博客1 文章1感觉直接升级库的话会导致很多不可挽回的损失,最直接的就是系统崩了。所以把高版本的库软连接过来才是最佳的选择。而且发现两个点:报错的这个路径 /usr/lib/x86_6原创 2022-05-09 16:01:33 · 323 阅读 · 0 评论 -
解决airflow中conda环境激活问题
背景使用Airflow官方镜像+miniconda搭建任务调度环境,之前使用的是airflow-python3.8的镜像,用root在miniconda中安装了一个python3.8的环境,任务调度时没有激活环境,直接用虚拟环境中的python路径执行python脚本的。一直那么用着,一年多了都没啥问题。但是最近把重新建了一个3.9的虚拟环境就炸了。报错是找不到psutil包,但其实我已经在虚拟环境中安装了,不过是用pip装的。我的依赖分两个途径安装,一个是conda install,一个是pip i原创 2022-05-09 15:59:36 · 400 阅读 · 0 评论 -
记录airflow从2.2.0升级到2.2.3遇到的一点小问题
配置:Ubuntu 18.04.5 LTS (GNU/Linux 4.15.0-163-generic x86_64)Docker version 20.10.7docker-compose version 1.29.2镜像:apache/airflow:2.2.0-python3.8背景众所周知,airflow的webserver的时间一直有点问题,尤其是日志的时间,总是多八小时(因为它把东八区的时间识别为utc时间,然后为了显示“东八区”时间,所以又多加了八小时),听说这个问题在2.2.3解原创 2021-12-28 16:05:41 · 1250 阅读 · 0 评论 -
airflow docker-compose中的一点小问题
我之前是从LocalExecutor换成了CeleryExecutor,用的是官方的demo docker-compose文件,在此基础上进行的修改。docker-compose文件的代码如下---version: '3.8'x-airflow-common: &airflow-common image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.2.0-python3.8} environment: &airflow-comm原创 2021-12-28 15:50:25 · 2035 阅读 · 0 评论