airflow部署常见问题

1.运行airflow scheduler时出现错误

日志出现:

File "/usr/local/lib/python3.6/site-packages/airflow/settings.py", line 333, in configure_adapters
    MySQLdb.converters.conversions[Pendulum] = MySQLdb.converters.DateTime2literal
AttributeError: module 'pymysql.converters' has no attribute 'DateTime2literal'

解决办法:

vi /usr/local/lib/python3.6/site-packages/airflow/settings.py

找到下面代码块并注释掉MySQLdb部分

def configure_adapters():
    from pendulum import Pendulum
    try:
        from sqlite3 import register_adapter
        register_adapter(Pendulum, lambda val: val.isoformat(' '))
    except ImportError:
        pass
 #注释掉下面部分
   # try:
      #  import MySQLdb.converters
      #  MySQLdb.converters.conversions[Pendulum] = MySQLdb.converters.DateTime2literal
   # except ImportError:
       # pass
    try:
        import pymysql.converters
        pymysql.converters.conversions[Pendulum] = pymysql.converters.escape_datetime
    except ImportError:
        pass

problem solved!

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Airflow部署可以采用多节点(集群)部署的方式,这种方式适用于对稳定性要求较高的场景。在多节点部署中,可以将Airflow的守护进程分布在多台机器上运行,以实现高可用性。[1] 具体的部署步骤如下: 1. 确保已经安装了CentOS 7.2操作系统,并满足以下版本要求:Airflow 1.9、Python 2.7.5、Celery 4.3.0、Redis 4.1.0和MySQL 5.7。 2. 执行以下命令安装Airflow:`pip install apache-airflow`. 3. 执行以下命令初始化Airflow的数据库:`airflow db init`. 4. 启动Web服务:`airflow webserver --port 8080 -D`. 5. 启动调度器:`airflow scheduler -D`. 如果需要重新启动Airflow,可以执行以下步骤: 1. 杀死所有正在运行的Airflow进程:`killall airflow`. 2. 运行以下命令初始化数据库:`airflow db upgrade`. 3. 启动Web服务:`airflow webserver --port 8080 -D`. 4. 启动调度器:`airflow scheduler -D`. 对于MySQL数据库的部署,您可以使用以下步骤: 1. 登录MySQL数据库,执行以下命令创建Airflow数据库:`create database airflow;`. 2. 创建Airflow用户并设置密码:`create user 'airflow'@'%' identified by '123456';`. 3. 授予Airflow用户对所有数据库的所有权限:`grant all privileges on *.* to 'airflow'@'%';`. 4. 刷新权限:`FLUSH PRIVILEGES;`. 请注意,以上步骤仅为Airflow部署和数据库配置的基本步骤,具体的部署配置可能会因环境和需求而有所不同。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [airflow初探(一)-- 安装和部署](https://blog.csdn.net/hpugym/article/details/89476480)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [airflow 2.2.3部署(2022年最新版+史上最完整版)](https://blog.csdn.net/small_fash/article/details/123254349)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值