Argo 101 - 1 : Hello Argo

首先，啥是workflow?

Wiki：a workflow consists of an orchestrated and repeatable pattern of activity

是一些被精心编排过的，重复性的活动；

对于Data Engineering或者Machine Learning来说，workflow 就是 DAG (有向无环图)，而DAG中的每一步都是一个task，这些task协同工作来完成具体的任务；

比如说，ETL，Machine Learning，deployment…

个人想强调一点，可以把Workflow用OOP思想去理解一下，可以把Workflow当做一个class，同时它又是这个class的instance，因为当Workflow运行的时候，它会有状态state，它是活的 xD

而开源的用的比较多的 workflow 轮子，能打的也就只有 Apache Airflow 和 Argo了；

那么问题来了，两道菜，吃哪个？选错了可是会坏肚子的…

Airflow，born in Airbnb，Apache的项目，Python ecosystem，3倍git star than Argo，可结合Mesos…
Argo，天生支持k8s，用golang写的，DAG of containers…

我的话明显更看中Argo，它天生对k8s友好，DAG可以由任何container组成；

试想下，有一个非常复杂的DAG，每一步我都需要使用Python编写，虽然Airflow提供了很多operator来与其他系统进行集成，但是我依然需要配置各种环境各种依赖；

但是如果，每一步都可以直接使用一个现成或自己用任意语言编写的image，再用YAML来定义DAG，怎么样？画美不看啊…

安装

截止今日 2020-07-11，Argo最新版本 v2.9.2；我已经把之前的 Argo 删掉了，来重新安装最新版

首先，你需要有个 k8s cluster，且版本要稍微新一点的，我使用的是 1.15.5，还算okey，比较新了；(最新的k8s 1.18，太多change了，很多涉及API的改动导致，非常多数据的第三方轮子，都暂时不支持…)

kubectl create ns argo
kubectl apply -n argo -f https://raw.githubusercontent.com/argoproj/argo/stable/manifests/quick-start-postgres.yaml
nohup kubectl -n argo port-forward deployment/argo-server 2746:2746 &

等待的同时，可以下载Argo的CLI，mac可以直接 brew install argoproj/tap/argo

argo-server和workflow-controller都是Argo自己的组件，但是minio和postgresql是什么鬼？

别着急，minio是类S3的object storage，在这里主要用来存储artifact的；postgresql嘛就是用来存各种数据和metadata的；

同时，还有Argo提供一个UI页面，我虽然没什么美感，还必须得吐槽一下，Argo的UI并没有Ariflow的UI好看，不过UI这东西，见仁见智

测试

今天先上一个最简单的DAG例子

如下可以看到，Argo用的k8s自己的CRD,workflow；

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: dag-diamond-
spec:
  entrypoint: diamond
  templates:
  - name: echo
    inputs:
      parameters:
      - name: message
    container:
      image: alpine:3.7
      command: [echo, "{{inputs.parameters.message}}"]
  - name: diamond
    dag:
      tasks:
      - name: A
        template: echo
        arguments:
          parameters: [{name: message, value: A}]
      - name: B
        dependencies: [A]
        template: echo
        arguments:
          parameters: [{name: message, value: B}]
      - name: C
        dependencies: [A]
        template: echo
        arguments:
          parameters: [{name: message, value: C}]
      - name: D
        dependencies: [B, C]
        template: echo
        arguments:
          parameters: [{name: message, value: D}]

使用 argo submit 或者直接在 UI 上 submit 都可以，虽然UI丑，但是可以很直观的查看workflow走到哪儿了，各个step的input/output…