airlfow 三种操作mysql 获取数据方式

最新推荐文章于 2024-06-24 01:54:50 发布

sxf_0123

最新推荐文章于 2024-06-24 01:54:50 发布

阅读量3.2k

点赞数 1

分类专栏： python airflow 文章标签： python airflow

本文链接：https://blog.csdn.net/sxf_123456/article/details/88238089

版权

本文详细介绍了在Airflow中使用Python操作MySQL数据库获取数据的三种方法，包括使用`MySQLHook`，直接执行SQL语句，以及通过`MySQLPythonOperator`进行数据交互。通过对这些方法的比较和实践，你可以灵活选择适合的方案来实现ETL任务中的数据提取步骤。

摘要由CSDN通过智能技术生成

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
airflow 操作mysql 数据库获取数据的三种方式
"""
from airflow.hooks.mysql_hook import MySqlHook
from airflow.hooks.dbapi_hook import DbApiHook


def get_DaApi_data():
    """
    airflow中使用 DbApiHook获取mysql数据库数据
    """
    sql_hook = DbApiHook().get_hook(conn_id="mysql_qualitycontrol")
    sql = "select name,capacity,pt_name,area_name from t_mate_cdn_node where isoff=0;"
    result = sql_hook.get_records(sql)
    for row in result:
        print(row)


def get_Mysql_data():
    """
    airflow中使用MySqlHook 获取mysql数据库数据
    """
    sql_hook = MySqlHook().get_hook(conn_id="mysql_qualitycontrol")
    sql = "select name,capacity,pt_name,area_name from t_mate_cdn_node where isoff=0;"
    result = sql_hook.get_records(sql)
    for row in result:
        print(row)


def get_pymys