airflow v2.6.0 k8s 部署（Rancher）

已于 2023-06-19 19:59:41 修改
阅读量2.5k 收藏 6
点赞数 5
分类专栏： # airflow 文章标签： airflow k8s 部署
于 2023-06-19 19:45:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42586468/article/details/131293988
版权

文章目录

物料准备

  • k8s Rancher, 阿里云的 nas 存储
  • 一台物理机（需要挂载PVC: dags plugins 和 logs）
  • mysql 数据库和redis
  • 包含airflow 以及对应依赖库的基础镜像

这里使用 airflow 的 CeleryExecutor 部署在 k8s 上，并不是使用 KubernetesExecutor.
基础镜像构建
Dockerfile 文件
这里使用的是 airflow 官方的V2.6.0 的 python3.10 的镜像

FROM apache/airflow:slim-latest-python3.10
USER root
EXPOSE 8080 5555 8793
COPY config/airflow.cfg /opt/airflow/airflow.cfg
RUN set -ex \
    && buildDeps=' \
        freetds-dev \
        libkrb5-dev \
        libsasl2-dev \
        libssl-dev \
        libffi-dev \
        libpq-dev \
        git \
        python3-dev \
        gcc \
        sasl2-bin \
        libsasl2-2 \
        libsasl2-dev \
        libsasl2-modules \
    ' \
    && apt-get update -yqq \
    && apt-get upgrade -yqq \
    && apt-get install -yqq --no-install-recommends \
        $buildDeps \
        freetds-bin \
        build-essential \
        default-libmysqlclient-dev \
        apt-utils \
        curl \
        rsync \
        netcat \
        locales \
        procps \
        telnet

USER airflow
RUN pip install celery
RUN pip install flower
RUN pip install pymysql
RUN pip install mysqlclient
RUN pip install redis
RUN pip install livy==0.6.0
RUN pip install apache-airflow-providers-mysql
RUN pip install apache-airflow-providers-apache-hive

RUN airflow db init
# 保证基础镜像安全，执行完数据库初始化后删除相关配置文件
RUN rm -rf /opt/airflow/airflow.cfg

构建基础镜像并推送至镜像仓库：

  • 在构建airflow基础镜像的时候同时会初始化对应的元数据库
    相关部署代码 git 地址：https://github.com/itnoobzzy/EasyAirflow.git
    拉取完代码后进入 EasyAirflow项目 创建 logs 目录并且 sudo -R chmod 777 logs：
    image.png
    因为在构建基础镜像的时候需要初始化元数据库，所以需要修改配置文件，这里主要需要修改四个地方：
    • mv config/default_airflow.cfg config/airflow.cfg, 并且修改 airflow.cfg 文件
    • 将 executor 修改为 CeleryExecutor
      image.png
    • 修改 sql_alchemy_conn 使用已有的 mysql 数据库, 这里需要注意连接驱动使用 mysql+pymysql
      image.png
    • 修改 broker_url 和 result_backend, broker 需要使用 redis 通信， result_backend 使用 mysql 存储，这里 result_backend 需要注意使用 db+mysql 连接驱动
      image.png
  • 执行构建命令，并推送至镜像仓库
docker build -t airflow:2.6.0 .
docker tag airflow:2.6.0 itnoobzzy/airflow:v2.6.0-python3.10
docker push itnoobzzy/airflow:v2.6.0-python3.10

部署步骤

  1. 创建 namespace: airflow-v2
    image.png

  2. 创建 PVC
    volumes.yaml文件地址：https://github.com/itnoobzzy/EasyAirflow/blob/main/scripts/k8s/volumes.yaml
    导入 rancher 后将创建三个 PVC 分别存储 dags, logs, plugins如下：
    image.png
    挂载PVC至物理机器上，方便管理 dags, logs 和 plugins, 查看 PVC 详情并执行挂载命令，下边是挂载 airflow-dags-pv 至机器上的例子：
    image.png
    image.png
    挂载完后df -h验证下 dags, logs, plugins 是否都挂载正常：
    image.png

  3. 创建 ConfigMap
    configmap.yaml文件 Git 地址： https://github.com/itnoobzzy/EasyAirflow/blob/main/scripts/k8s/configmap.yaml
    将 yaml 文件导入 rancher 如下：
    image.png

  4. 创建 Secret（可选）
    secret.yaml文件地址：https://github.com/itnoobzzy/EasyAirflow/blob/main/scripts/k8s/secret.yaml
    将 yaml 文件导入 rancher 如下, 需要注意 secret.yaml 文件中的数据库信息需要 base64 加密：
    image.png
    可以将数据库信息使用 k8s 的 secret 存储， 然后再 Deployment yaml 文件中使用环境变量获取 secret 中的配置信息。

  5. 创建 scheduler Deployment
    scheduler-dp.yaml文件地址：https://github.com/itnoobzzy/EasyAirflow/blob/main/scripts/k8s/scheduler-dp.yaml

    kind: Deployment
apiVersion: apps/v1
metadata:
  name: airflow-scheduler
  namespace: airflow-v2
spec:
  replicas: 1
  selector:
    matchLabels:
      tier: airflow
      component: scheduler
      release: v2.6.0
  template:
    metadata:
      labels:
        tier: airflow
        component: scheduler
        release: v2.6.0
      annotations:
        cluster-autoscaler.kubernetes.io/safe-to-evict: "true"
    spec:
      restartPolicy: Always
      terminationGracePeriodSeconds: 10
      containers:
        - name: scheduler
          image: itnoobzzy/airflow:v2.6.0-python3.10
          imagePullPolicy: IfNotPresent
          args: ["airflow", "scheduler"]
          env:
            - name: AIRFLOW__CORE__FERNET_KEY
              value: cwmLHK76Sp9XclhLzHwCNXNiAr04OSMKQ--6WXRjmss=
            - name: AIRFLOW__CORE__EXECUTOR
              value: CeleryExecutor
            - name: AIRFLOW__DATABASE__SQL_ALCHEMY_CONN
              valueFrom:
                secretKeyRef:
                  name: airflow-secrets
                  key: sql_alchemy_conn
            - name: AIRFLOW__CELERY__BROKER_URL
              valueFrom:
                secretKeyRef:
                  name: airflow-secrets
                  key: broker_url
            - name: AIRFLOW__CELERY__RESULT_BACKEND
              valueFrom:
                secretKeyRef:
                  name: airflow-secrets
                  key: result_backend
          volumeMounts:
            - name: logs-pv
              mountPath: "/opt/airflow/logs"
            - name: dags-pv
              mountPath: "/opt/airflow/dags"
            - name: plugins-pv
              mountPath: "/opt/airflow/plugins"
            - name: config
              mountPath: "/opt/airflow/airflow.cfg"
              subPath: airflow.cfg
      volumes:
        - name: config
          configMap:
            name: airflow-configmap
        - name: logs-pv
          persistentVolumeClaim:
            claimName: airflow-logs-pvc
        - name: dags-pv
          persistentVolumeClaim:
            claimName: airflow-dags-pvc
        - name: plugins-pv
          persistentVolumeClaim:
            claimName: airflow-plugins-pvc

  6. 创建 webserver Deployment 和 Service
    webserver.yaml文件地址：https://github.com/itnoobzzy/EasyAirflow/blob/main/scripts/k8s/webserver.yaml

kind: Deployment
apiVersion: apps/v1
metadata:
  name: airflow-webserver
  namespace: airflow-v2
spec:
  replicas: 1
  selector:
    matchLabels:
      tier: airflow
      component: webserver
      release: v2.6.0
  template:
    metadata:
      labels:
        tier: airflow
        component: webserver
        release: v2.6.0
      annotations:
        cluster-autoscaler.kubernetes.io/safe-to-evict: "true"
    spec:
      restartPolicy: Always
      terminationGracePeriodSeconds: 10
      containers:
        - name: webserver
          image: itnoobzzy/airflow:v2.6.0-python3.10
          imagePullPolicy: IfNotPresent
          args: ["airflow", "webserver"]
          env:
            - name: AIRFLOW__CORE__FERNET_KEY
              value: cwmLHK76Sp9XclhLzHwCNXNiAr04OSMKQ--6WXRjmss=
            - name: AIRFLOW__CORE__EXECUTOR
              value: CeleryExecutor
            - name: AIRFLOW__DATABASE__SQL_ALCHEMY_CONN
              valueFrom:
                secretKeyRef:
                  name: airflow-secrets
                  key: sql_alchemy_conn
            - name: AIRFLOW__CELERY__BROKER_URL
              valueFrom:
                secretKeyRef:
                  name: airflow-secrets
                  key: broker_url
            - name: AIRFLOW__CELERY__RESULT_BACKEND
              valueFrom:
                secretKeyRef:
                  name: airflow-secrets
                  key: result_backend
          volumeMounts:
            - name: logs-pv
              mountPath: "/opt/airflow/logs"
            - name: dags-pv
              mountPath: "/opt/airflow/dags"
            - name: plugins-pv
              mountPath: "/opt/airflow/plugins"
            - name: config
              mountPath: "/opt/airflow/airflow.cfg"
              subPath: airflow.cfg
      volumes:
        - name: config
          configMap:
            name: airflow-configmap
        - name: logs-pv
          persistentVolumeClaim:
            claimName: airflow-logs-pvc
        - name: dags-pv
          persistentVolumeClaim:
            claimName: airflow-dags-pvc
        - name: plugins-pv
          persistentVolumeClaim:
            claimName: airflow-plugins-pvc

---

apiVersion: v1
kind: Service
metadata:
  name: airflow-webserver-svc
spec:
  type: ClusterIP
  ports:
    - name: airflow-webserver
      port: 8080
      targetPort: 8080
      protocol: TCP
  selector:
    tier: airflow
    component: webserver
    release: v2.6.0

  1. 创建 flower Deployment 和 Service
    flower.yaml文件地址：https://github.com/itnoobzzy/EasyAirflow/blob/main/scripts/k8s/flower.yaml

    kind: Deployment
apiVersion: apps/v1
metadata:
  name: airflow-flower
  namespace: airflow-v2
spec:
  replicas: 1
  selector:
    matchLabels:
      tier: airflow
      component: flower
      release: v2.6.0
  template:
    metadata:
      labels:
        tier: airflow
        component: flower
        release: v2.6.0
      annotations:
        cluster-autoscaler.kubernetes.io/safe-to-evict: "true"
    spec:
      restartPolicy: Always
      terminationGracePeriodSeconds: 10
      containers:
        - name: flower
          image: itnoobzzy/airflow:v2.6.0-python3.10
          imagePullPolicy: IfNotPresent
          args: ["airflow", "celery", "flower"]
          env:
            - name: AIRFLOW__CORE__FERNET_KEY
              value: cwmLHK76Sp9XclhLzHwCNXNiAr04OSMKQ--6WXRjmss=
            - name: AIRFLOW__CORE__EXECUTOR
              value: CeleryExecutor
            - name: AIRFLOW__DATABASE__SQL_ALCHEMY_CONN
              valueFrom:
                secretKeyRef:
                  name: airflow-secrets
                  key: sql_alchemy_conn
            - name: AIRFLOW__CELERY__BROKER_URL
              valueFrom:
                secretKeyRef:
                  name: airflow-secrets
                  key: broker_url
            - name: AIRFLOW__CELERY__RESULT_BACKEND
              valueFrom:
                secretKeyRef:
                  name: airflow-secrets
                  key: result_backend
          volumeMounts:
            - name: logs-pv
              mountPath: "/opt/airflow/logs"
            - name: dags-pv
              mountPath: "/opt/airflow/dags"
            - name: plugins-pv
              mountPath: "/opt/airflow/plugins"
            - name: config
              mountPath: "/opt/airflow/airflow.cfg"
              subPath: airflow.cfg
      volumes:
        - name: config
          configMap:
            name: airflow-configmap
        - name: logs-pv
          persistentVolumeClaim:
            claimName: airflow-logs-pvc
        - name: dags-pv
          persistentVolumeClaim:
            claimName: airflow-dags-pvc
        - name: plugins-pv
          persistentVolumeClaim:
            claimName: airflow-plugins-pvc

---

apiVersion: v1
kind: Service
metadata:
  name: airflow-flower-svc
spec:
  type: ClusterIP
  ports:
    - name: airflow-flower
      port: 5555
      targetPort: 5555
      protocol: TCP
  selector:
    tier: airflow
    component: flower
    release: v2.6.0

  2. 创建 worker Deployment
    worker.yaml文件地址：https://github.com/itnoobzzy/EasyAirflow/blob/main/scripts/k8s/worker.yaml

    kind: Deployment
apiVersion: apps/v1
metadata:
  name: airflow-worker
  namespace: airflow-v2
spec:
  replicas: 1
  selector:
    matchLabels:
      tier: airflow
      component: worker
      release: v2.6.0
  template:
    metadata:
      labels:
        tier: airflow
        component: worker
        release: v2.6.0
      annotations:
        cluster-autoscaler.kubernetes.io/safe-to-evict: "true"
    spec:
      restartPolicy: Always
      terminationGracePeriodSeconds: 10
      containers:
        - name: worker
          image: itnoobzzy/airflow:v2.6.0-python3.10
          imagePullPolicy: IfNotPresent
          args: ["airflow", "celery", "worker"]
          env:
            - name: AIRFLOW__CORE__FERNET_KEY
              value: cwmLHK76Sp9XclhLzHwCNXNiAr04OSMKQ--6WXRjmss=
            - name: AIRFLOW__CORE__EXECUTOR
              value: CeleryExecutor
            - name: AIRFLOW__DATABASE__SQL_ALCHEMY_CONN
              valueFrom:
                secretKeyRef:
                  name: airflow-secrets
                  key: sql_alchemy_conn
            - name: AIRFLOW__CELERY__BROKER_URL
              valueFrom:
                secretKeyRef:
                  name: airflow-secrets
                  key: broker_url
            - name: AIRFLOW__CELERY__RESULT_BACKEND
              valueFrom:
                secretKeyRef:
                  name: airflow-secrets
                  key: result_backend
          volumeMounts:
            - name: logs-pv
              mountPath: "/opt/airflow/logs"
            - name: dags-pv
              mountPath: "/opt/airflow/dags"
            - name: plugins-pv
              mountPath: "/opt/airflow/plugins"
            - name: config
              mountPath: "/opt/airflow/airflow.cfg"
              subPath: airflow.cfg
      volumes:
        - name: config
          configMap:
            name: airflow-configmap
        - name: logs-pv
          persistentVolumeClaim:
            claimName: airflow-logs-pvc
        - name: dags-pv
          persistentVolumeClaim:
            claimName: airflow-dags-pvc
        - name: plugins-pv
          persistentVolumeClaim:
            claimName: airflow-plugins-pvc

  3. 创建 webserver 和 flower 的 Ingress
    Ingress.yaml文件地址：https://github.com/itnoobzzy/EasyAirflow/blob/main/scripts/k8s/ingress.yaml

    ---

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
   name:  airflow-ingress
spec:
  rules:
    - host: airflow-webserver.akulaku.com
      http:
        paths:
        - path: /
          backend:
            serviceName: airflow-webserver-svc
            servicePort: 8080
    - host: airflow-flower.akulaku.com
      http:
        paths:
            - path: /
              backend:
                serviceName: airflow-flower-svc
                servicePort: 5555

验证

部署完后在浏览器中输入 http://airflow-webserver.akulaku.com/ 访问 webserver 界面（需要注意 /etc/hosts 文件配置了域名解析），webserver 初始化管理员用户名和密码都为 admin:
image.png
在浏览器中输入 http://airflow-flower.akulaku.com/ 访问 flower 界面:
image.png
这里flower worker name 是 worker Pod 的name:
image.png
触发 DAG 运行并且在挂载的机器上查看对应的日志：
image.png

机器上的 /data/app/k8s/EasyAirflow/logs 这个目录就是前边将 k8s 的 PVC 的内容挂载在机器上对应的目录：

(base) [admin@data-landsat-test03 logs]$ view /data/app/k8s/EasyAirflow/logs/dag_id\=tutorial/run_id\=manual__2023-05-15T09\:27\:44.253944+00\:00/task_id\=sleep/attempt\=1.log 
dag_id=tutorial/       dag_processor_manager/ scheduler/             
[2023-05-15T09:27:47.187+0000] {taskinstance.py:1125} INFO - Dependencies all met for dep_context=non-requeueable deps ti=<TaskInstance: tutorial.sleep manual__2023-05-15T09:27:44.253944+00:00 [queued]>
[2023-05-15T09:27:47.195+0000] {taskinstance.py:1125} INFO - Dependencies all met for dep_context=requeueable deps ti=<TaskInstance: tutorial.sleep manual__2023-05-15T09:27:44.253944+00:00 [queued]>
[2023-05-15T09:27:47.195+0000] {taskinstance.py:1331} INFO - Starting attempt 1 of 4
[2023-05-15T09:27:47.206+0000] {taskinstance.py:1350} INFO - Executing <Task(BashOperator): sleep> on 2023-05-15 09:27:44.253944+00:00
[2023-05-15T09:27:47.209+0000] {standard_task_runner.py:57} INFO - Started process 71 to run task
[2023-05-15T09:27:47.213+0000] {standard_task_runner.py:84} INFO - Running: ['airflow', 'tasks', 'run', 'tutorial', 'sleep', 'manual__2023-05-15T09:27:44.253944+00:00', '--job-id', '75', '--raw', '--subdir', 'DAGS_FOLDER/tutorial.py', '--cfg-path', '/tmp/tmpy65q1a3h']
[2023-05-15T09:27:47.213+0000] {standard_task_runner.py:85} INFO - Job 75: Subtask sleep
[2023-05-15T09:27:47.260+0000] {task_command.py:410} INFO - Running <TaskInstance: tutorial.sleep manual__2023-05-15T09:27:44.253944+00:00 [running]> on host airflow-worker-6f9ffb7fb8-t6j9p
[2023-05-15T09:27:47.330+0000] {taskinstance.py:1568} INFO - Exporting env vars: AIRFLOW_CTX_DAG_EMAIL='airflow@example.com' AIRFLOW_CTX_DAG_OWNER='airflow' AIRFLOW_CTX_DAG_ID='tutorial' AIRFLOW_CTX_TASK_ID='sleep' AIRFLOW_CTX_EXECUTION_DATE='2023-05-15T09:27:44.253944+00:00' AIRFLOW_CTX_TRY_NUMBER='1' AIRFLOW_CTX_DAG_RUN_ID='manual__2023-05-15T09:27:44.253944+00:00'
[2023-05-15T09:27:47.331+0000] {subprocess.py:63} INFO - Tmp dir root location:
 /tmp
[2023-05-15T09:27:47.331+0000] {subprocess.py:75} INFO - Running command: ['/bin/bash', '-c', 'sleep 5']
[2023-05-15T09:27:47.355+0000] {subprocess.py:86} INFO - Output:
[2023-05-15T09:27:52.360+0000] {subprocess.py:97} INFO - Command exited with return code 0
[2023-05-15T09:27:52.383+0000] {taskinstance.py:1368} INFO - Marking task as SUCCESS. dag_id=tutorial, task_id=sleep, execution_date=20230515T092744, start_date=20230515T092747, end_date=20230515T092752
[2023-05-15T09:27:52.426+0000] {local_task_job_runner.py:232} INFO - Task exited with return code 0
[2023-05-15T09:27:52.440+0000] {taskinstance.py:2674} INFO - 0 downstream tasks scheduled from follow-on schedule check

总结

这里的将 airflow 部署在 k8s 上，并没有使用 airflow 的 k8s executor ，不能够做到任务执行完后自动停止掉 Pod，缩减成本。
但是 airflow 一般运行的都是批处理任务，集中在一个时间段内运行，目前我们公司使用的场景就是在夜间使用 airflow 跑大量离线处理任务，因此在白天的时候可以将 airflow 的一些 worker 给停掉，晚上再根据实际情况增加对应的 worker Pod。
但是在启停 worker 的 Pod 的时候也有一些注意事项：

  • 启停能否做成自动化的，在白天某个时间点开始停止 worker Pod, 在夜间某个时间点开始启动 Pod。
  • 需要优雅停止，停止前需要等待 worker 中的任务运行完毕（或者说最多等待多久时间杀死任务进程），并且不会再有新任务进入将要停止的 Pod 中。

后边针对上边所说的问题进行研究，一旦发现好的解决方法和步骤，将与大家一起分享~

一切如来心秘密
关注
  • 5
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 9
    评论
专栏目录
如何在Kubernetes 上部署Airflow
qq_40025970的博客
07-29 2042
如何在Kubernetes上面部署Airflow。
apache-airflow-with-k8s-executor:这是与Kubernetes执行程序一起作为ETL的Apache气流
03-28
Minikube中的Apache Airflow设置 使用头盔 前提条件 minikube： minikube是使用VirtualBox或Docker在计算机上创建单个节点（虚拟机）Kubernetes集群的工具。 要安装minikube，请点击此 kubectl： kubectl是一个CLI工具，可用于部署应用程序，检查和管理集群资源以及查看日志。 要安装kubectl，请单击此 docker： docker是一种开源的容器化技术，用于构建和容器化您的应用程序。我们将使用docker作为minikube的VM驱动程序。 要安装docker，请点击此 helm： helm是Kubernetes的程序包管理器，它将多个Kubernetes资源打包到单个逻辑部署单元调用Chart 。 要安装helm点击此 启动Minikube 首先在单独的配置文件和群集中启动minikube，如下所示
airflow+k8s 多用户-分布式-跨集群-容器化调度
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
04-26 4344
最开始采用airflow+k8s分布式容器化调度的方案主要是为了解决下面的问题： 1、特有环境/特有脚本调度的调度问题 2、大数据量任务或大算力任务节点故障和调度管理问题 目前已经基于airflow+k8s改造成多用户-分布式-跨集群-容器化调度的平台。 airflow官网：https://airflow.apache.org/docs/stable/ airflow介绍 airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundati
Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）_apache airflow教程
2301_77033672的博客
04-26 601
下面是几个将触发几个任务实例的命令。当您运行下面的命令时，您应该能够在example_bash_operator DAG中看到作业的状态变化。以守护进程模式运行意味着该进程将在后台持续运行，而不占用当前终端。在浏览器中访问localhost:8080，并使用终端显示的管理员帐户详细信息登录。菜单中的UI检查该文件。如果由systemd启动webserver的PID将存储在。的文件，这将使您快速运行。该命令初始化数据库、创建用户并启动所有组件。在运行这些命令后，Airflow将创建。中检查该文件，或者通过。
1.airflow系列之K8S部署airflow2.5.1
算法小生
03-12 1275
笔者遇到了以下问题，将会为你一一解答 + airflow db init未执行报错问题 + redis连接问题 + 日志无法查看问题 + 多woker不启动问题 + helm upgrade问题 + 缓存问题 + 数据库不存在问题 + 动态安装依赖问题
K8S部署分布式调度任务Airflow
qq_24794401的博客
11-29 1603
一、部署要求Apache Airflow 已通过以下测试：Main version (dev)Stable version (2.1.4)Python3.6, 3.7, 3.8, 3.93...
熊猫学猿--airflow与kubernetes结合
liuhongwei_study的专栏
01-15 964
在接触一个新东西的时候，真的希望是一步步告诉怎么实现的，只有跑起来我才能它到底是干啥的 1、安装minikube（我是用虚拟机上Linux系统进行的测试） 下载minikube curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64 | bash -s -- 2.2.0 1.4.8 -s sudo install kubectl /usr/local/bin/kubectl 2、安
airflow-on-k8s-operator:Airflow是Kubernetes的运营商
05-08
K8S操作员上的气流 ...Airflow Operator是自定义的，可轻松在Kubernetes上部署和管理Apache Airflow 。 Apache Airflow是一个以编程方式编写，计划和监视工作流的平台。 使用Airflow Operator，将Airfl
kedro-airflow-k8s:Kedro Plugin支持Kubernetes上Airflow 2.x上正在运行的管道
03-09
Kedro Airflow K8S插件关于工作正在进行中该插件的主要目的是在Kubernetes Cluster上启用带有Airflow的kedro管道。 与不同的是，此插件不需要在airflow运行时中安装其他库，而是使用K8S基础结构。 该插件可与kedro-...
安装部署Apache-airflow.md
10-09
安装部署Apache-airflow.md
airflow笔记资料
04-16
Apache Airflow是一款强大的工作流管理工具，用于编排、调度和监控复杂的业务逻辑。这款开源软件设计用于构建数据管道，支持大数据处理任务，且适用于各种跨系统和跨服务的工作流程。在Airflow笔记资料中，我们可以...
全流程调度-Airflow介绍和使用
迷雾总会解
06-13 6856
Airflow是一个以编程方式编写，安排和监视工作流的平台。使用Airflow将工作流编写任务的有向无环图（DAG）。Airflow计划程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。丰富的用户界面使查看生产中正在运行的管道，监视进度以及需要时对问题进行故障排除变的容易。
airflow 在 docker 中的安装与使用
fwzzzzz的博客
05-21 4544
文章目录airflow 在 docker 中的安装与使用简介airflow 镜像环境变量配置信息dagspip 包的安装挂载目录部署airflow.cfg 配置文件修改示例加载邮件时区登录配置其他配置信息目录结构与文件.envDockerfiledocker-compose.yaml启动查看 dags 信息扩展钉钉机器人报警邮箱报警异常出现AttributeError: module ‘typing‘ has no attribute ‘_ClassVar‘错误airflow.cfg airflow 在 d
Airflow docker版配置、部署
Frederick_w的博客
04-23 3763
Airflow docker单机版配置、部署背景说明部署前提条件airflow docker镜像选型镜像代码拉取镜像编译配置airflow.cfg配置docker-compose-LocalExecutor.yml启动镜像查看镜像运行情况增加用户管理模块需要记录的坑 背景说明 近期，我负责的公司项目增加了大量的定时任务，维护的难度大量的增加，产生了开发一个监控平台的需求。鉴于公司的技术栈，最后选型...
airflow部署和使用示例
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
01-08 2002
参考:https://www.jianshu.com/p/089c56b4ec14
Airflow在Kubernetes上的操作器
weixin_34315485的博客
07-07 1459
2019独角兽企业重金招聘Python工程师标准>>> ...
linux(centos)创建虚拟环境部署airflow
qq_39498924的博客
05-29 519
一、创建虚拟环境 1.安装virtualenv，virtualenvwrapper pip install virtualenv virtualenvwrapper 安装好之后创建存放虚拟环境目录，这里我存在 ~/pythonvenv 里，查看当前路径：pwd，返回/home/cch/pythonvenv 如果没有pip 先安装pip：yum install -y pip 安装好了之后，查找virtualenv位置：find / -name virtualenv 例：返回：/home/cch/.local
airflow 使用心得，从环境到部署上线
猴子饲养员的博客
05-12 7383
使用版本： python 3.6.8 apache-airflow 1.10.3 安装 python 环境准备 apache-airflow 对于 python 版本限制如下： requires Python '>=2.7,!=3.0.*,!=3.1.*,!=3.2.*,!=3.3.*,!=3.4.*' # wget 用于下载源码包， gcc 和 make 用于编译 yum instal...
airflow部署
记录站
12-12 2827
环境 ubuntu 16.04 python3.5 && python3.6 apt-get install python3-pip pip3 install pipenv pipenv install flask==1.0 1.需要的 python 模块 import ssl import sqlite3 2.安装 airflow 网上的 pip install apache...
k8s部署airflow
最新发布
06-21
要将Apache Airflow部署到k8s上，你可以按照以下步骤操作： 1. **安装Kubernetes集群**：确保你有一个运行中的k8s集群，如果没有，可以通过官方文档或服务商提供的服务安装。 2. **创建Docker镜像**：Airflow应该...
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一切如来心秘密

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值