airflow安装过程各种报错解决办法

最新推荐文章于 2024-08-15 17:18:41 发布
最新推荐文章于 2024-08-15 17:18:41 发布
阅读量3.6k 收藏 1
点赞数
分类专栏： airflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wcandy001/article/details/88224399
版权
在Mac OS 10.14.3上安装Airflow时，由于Python 3.7中async是关键字，所以推荐使用Python 3.6.5。安装过程中遇到mysql_config未找到、MySQL配置错误、Cython模块缺失和'sqlfront.h'文件未找到等错误，通过安装相关依赖、修改mysql_config文件和安装Cython来逐一解决。
摘要由CSDN通过智能技术生成

在mac(10.14.3 ) +python3.6.5上安装airflow(注意不要用3.7，airflow initdb时会引入tenacity的包（from tenacity.async import AsyncRetrying）async在python3.7版本被加入了关键字，导致airflow无法在python3.7运行，https://github.com/jd/tenacity/issues/117)

安装命令：SLUGIFY_USES_TEXT_UNIDECODE=yes pip install apache-airflow[all]

pip install docutils
报错
OSError: mysql_config not found
说明系统没有按安装python-mysql驱动和mysql，使用brew下载

系统没有brew,登陆brew官网查看安装的脚本
https://brew.sh/index_zh-cn

brew install mysql-connector-c

pip install mysql
报错 Exception: Wrong MySQL configuration: maybe https://bugs.mysql.com/bug.php?id=86971

root用户下 vim /usr/local/bin/mysql_config
把114行：libs=“libs -l”
改为：libs="$l

最低0.47元/天 解锁文章
入眸幻灭
关注
专栏目录
Airflow安装配置和web端插件安装
07-01
网络中关于airflow的资料比较少，这里做了一下整理： 1.整理centos7中airflow的安装配置 2.原生airflow默认不支持web端的拖拽实现dag,需要写python脚本，这里我做了一个插件安装说明，可以从网页端实现dag的编写
Apache Airflow 安装
freeRoad
06-24 419
把pypi.org加入可信站点即可。
pip mysql_config not found_pip报错解决：EnvironmentError: mysql_config not found
weixin_34099891的博客
01-28 164
centos7下使用python类库MySQL-python操作mysql。pip安装类库：pip install MySQL-python报错提示：mariadb EnvironmentError: mysql_config not found安装mysql-devel：yum -y install mysql-devel执行pip install MySQL-python，又出现报错：erro...
解决ModuleNotFoundError: No module named ‘distutils‘
che_lys的博客
08-15 1664
使用python组件过程中，可能有些时候兼容问题。也可能是其他问题，网上查阅了下，也可能是跟python的版本相关，这边使用的是3.12.4，较新的版本，但是实际上我是在使用har2case组件的时候才弹出的错误，之前正常使用大部分组件没有错误。经过查阅资料，说切换或安装一个低版本的distutils组件可以解决，但是我这里实际上还不清楚使用到的组件到底是什么。
airflow安装及碰到的问题记录
zhjjr2的专栏
06-18 1195
airflow完整安装请查看https://www.520mwx.com/view/20680； 环境：虚拟机vm10、centos7 其中碰到一些问题： 1.虚拟机异常退出，导致yum被锁定；报错如下： 解决方案：rm -f /var/rum/20506(yum.pid) rm成功后重新执行yum命令； 2.执行pip install --upgrade setuptools命...
AirFlow 命令行
weixin_38296425的博客
10-15 3083
AirFlow 提供了丰富的命令，在Anaconda虚拟环境中安装airflow这个文章的基础上开始整理。 首先从帮助信息开始: 进入python36虚拟环境之后，执行airflow -h (python36) [root@localhost airflow]# airflow -h usage: airflow [-h] GROUP_OR_COMMAND ... positional arguments: GROUP_OR_COMMAND Groups: celery
Airflow报错：Exception: Global variable explicit_defaults_for_timestamp needs to be on (1) for mysql
zhengzaifeidelushang的博客
11-29 691
Airflow报错：Exception: Global variable explicit_defaults_for_timestamp needs to be on (1) for mysql Airflow初始化报错解决方法如下： mysql> mysql -uroot -p mysql> create database airflow; mysql> grant all on airflow.* to 'airflow'@'localhost' identified by '1234
任务调度 airflow 安装手册
最新发布
08-29
任务调度 airflow 安装手册
AirFlow安装文档
06-14
### AirFlow安装与配置详解 #### 一、AirFlow简介 Apache Airflow 是一个用于创建、管理和监控工作流的任务调度平台。它可以帮助用户定义复杂的任务依赖关系，并通过图形化界面来展示任务的状态和进度。Airflow 的...
airflow中文时区完美解决方案_与安装大全
01-07
airflow安装方案细节。 airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。airflow 将workflow编排为tasks组成的DAGs，调度器在一组workers上按照指定的依赖...
ansible-airflow:安装Apache Airflow的角色
05-24
使用Ansible安装Airflow。 该Ansible角色还支持使用Marathon启动Ansible。 在这种情况下，请使用变量marathon_version指定所使用的Marathon的版本。 支持的系统： Ubuntu 16.04 RedHat / Centos 7.2 Ansible...
安装Airflow遇到的一些坑（MAC M1）
m0_37967248的博客
08-09 854
安装Airflow遇到的一些坑（MAC M1）
airflow常见问题汇总
Gzigithub的博客
01-03 9177
AirFlow常见问题汇总 airflow常见问题的排查记录如下: 1，airflow怎么批量unpause大量的dag任务 ​ 普通少量任务可以通过命令airflow unpause dag_id命令来启动，或者在web界面点击启动按钮实现，但是当任务过多的时候，一个个任务去启动就比较麻烦。其实dag信息是存储在数据库中的，可以通过批量修改数据库信息来达到批量启动dag任务的效果。假如是用...
Airflow 安装教程
Sen的博客
09-15 1875
说明： Airflow 的安装需要依赖Python3.0 及以上版本，Python3.0的安装教程见：（https://blog.csdn.net/CZ_yjsy_data/article/details/100776239） 在线安装步骤： 安装最新稳定版本的Airflow最简单的方法是使用pip: 一：airflow needs a home, ~/airflow is the...
airflow踩坑记录
weixin_42130167的博客
07-09 2260
参考链接：https://www.cnblogs.com/jimtheman/p/8465754.html 1、初始化airflow后，链接数据库改为postgresql，但是测试task时总是报错： (env) ××@pc:~/workspace/airflow$ airflow test example_bash_operator run_after_loop 2019-07-06 sq...
【Python】OSError: handle is closed / EOFError: Ran out of input
象在舞的技术专栏
10-27 4805
【问题描述】 今天在使用Python多进程管道（multiprocessing.Pipe）的时候报了如下的错误： Traceback (most recent call last): File "script/train_taobao.py", line 302, in <module> train(model_type=Model_Type, Memory_Size=Memory_Size, Mem_Induction=Mem_Induction, Util_R...
OSError: mysql_config not found问题
Im ok的博客哦
12-07 1127
提示： [root@gxd08 airflow]# yum install mysql-devel Loaded plugins: langpacks, versionlock Repository base is listed more than once in the configuration Repository updates is listed more than once in the configuration Repository extras is listed more ..
airflow报错ModuleNotFoundError: No module named ‘MySQLdb‘和OSError: mysql_config not found
zhengzaifeidelushang的博客
11-29 1422
airflow报错ModuleNotFoundError: No module named 'MySQLdb’和OSError: mysql_config not found 先安装开发环境和基础依赖包 yum install -y mysql-devel gcc gcc-devel gcc-c++ python-devel libffi-devel openssl-devel libsasl2-dev 再安装 pip3 install mysqlclient pymysql mysql -i http
Airflow2.x分布式部署dag执行失败日志无法正常获取问题
....
08-25 5077
在上一篇博客中,我总结了使用Airflow过程中踩过的坑.和一些解决方案, 链接如下: Airflow2.1.1实战中踩过的坑总结!! 篇幅所限,把该博客的第11个问题单独整理出来 11. 分布式部署场景下,dag执行失败,日志无法正常查看的问题 文章目录一. 问题详细表现1.1 Airflow必要环境信息1.2 报错表现二. 问题排查与处理2.1 初步分析源码,大致定位问题2.2 确定解决方向2.3 单节点和分布式执行对比三. 进一步排查测试四.经验与教训思维固化不够细心五. 吐槽 一. 问题详细表现 1
airflow 安装
08-29
要安装Airflow，你可以按照以下步骤进行操作： 1. 确保你已经安装了Python和pip。Airflow需要Python 3.6或更高版本。如果你还没有安装Python，请先安装它。 2. 使用pip安装Airflow。打开命令行终端，并运行以下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值