MySqlOperator使用及conn配置

转载自品略图书馆 http://www.pinlue.com/article/2020/05/2111/2910577739133.html

 

1. 依赖

MySqlOperator 的数据库交互通过 MySQLdb 模块来实现, 使用前需要安装相关依赖:

pip install apache-airflow[mysql]2. 使用

使用 MySqlOperator 执行sql任务的一个简单例子:

from airflow import DAGfrom airflow.utils.dates import days_agofrom airflow.operators.mysql_operator import MySqlOperatordefault_args = { "owner": "airflow", "depends_on_past": False, "start_date": days_ago(1), "email": ["j_hao104@163.com"], "email_on_failure": True, "email_on_retry": False,}dag = DAG( "MySqlOperatorExample", default_args=default_args, description="MySqlOperatorExample", schedule_interval="30 18 * * *")insert_sql = "insert into log SELECT * FROM temp_log"task = MySqlOperator( task_id="select_sql", sql=insert_sql, mysql_conn_id="mysql_conn", autocommit=True, dag=dag)3. 参数

MySqlOperator 接收几个参数:

sql: 待执行的sql语句;

mysql_conn_id: mysql数据库配置ID, Airflow的conn配置有两种配置方式,一是通过os.environ来配置环境变量实现,二是通过web界面配置到代码中,具体的配置方法会在下文描述;

parameters: 相当于MySQLdb库的execute 方法的第二参数,比如: cur.execute("insert into UserInfo values(%s,%s)",("alex",18));

autocommit: 自动执行 commit;

database: 用于覆盖conn配置中的数据库名称, 这样方便于连接统一个mysql的不同数据库;

4. conn配置

建议conn配置通过web界面来配置,这样不用硬编码到代码中,关于配置中的各个参数:

Conn Id: 对应 MySqlOperator 中的 mysql_conn_id;

Host: 数据库IP地址;

Schema: 库名, 可以被MySqlOperator中的database重写;

Login: 登录用户名;

Password: 登录密码;

Port: 数据库端口;

Extra: MySQLdb.connect的额外参数,包含charset、cursor、ssl、local_infile

其中cursor的值的对应关系为: sscursor —> MySQLdb.cursors.SSCursor; dictcursor —> MySQLdb.cursors.DictCursor; ssdictcursor —> MySQLdb.cursors.SSDictCursor

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值