安装方式
https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html
确保在容器中可以通过ssh连接宿主机或远程服务器(一般是ok的,ssh在容器中也配置的有)
在dag中使用SSHOperator创建job
示例如下:
job1 = SSHOperator(
ssh_conn_id='cdh07',
task_id='test.demo1',
command="""sudo -u hdfs /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/bin/spark-submit \\
--class demo.run \\
--master yarn \\
--deploy-mode=cluster \\
""",
)
ssh_conn_id创建方式