Prefect 折腾手记：编写一个简易工作流程序

最新推荐文章于 2024-03-19 09:50:17 发布
最新推荐文章于 2024-03-19 09:50:17 发布
阅读量2.5k 收藏 3
点赞数 4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiangyou0k/article/details/111956747
版权

文章首发于个人公众号：「阿拉平平」

在处理复杂工作时，将所有的逻辑都写到一个任务中是一种很糟糕的做法。将其拆解成多个子任务，重新编排并监控运行状况则要靠谱的多。也许你正在寻找一个好用的工作流引擎，那么这款基于 Python 的工作流工具：Prefect[1] 说不定可以帮助到你。

在这篇文章中，我将介绍并演示 Prefect 的用法，编写一个简单的工作流程序来说明 Prefect 是如何使用的。文中使用的 Python 版本为 3.6.5，Prefect 版本为 0.13.19。

快速开始

安装 Prefect 前请确保已安装 Python，且版本在 3.6 以上。

安装很简单，执行以下命令：

pip install prefect

官方的示例代码如下：

from prefect import task, Flow, Parameter


@task(log_stdout=True)
def say_hello(name):
    print("Hello, {}!".format(name))


with Flow("My First Flow") as flow:
    name = Parameter('name')
    say_hello(name)


flow.run(name='world') # "Hello, world!"
flow.run(name='Marvin') # "Hello, Marvin!"

我们运行看下输出结果：

[2020-12-16 11:52:27+0800] INFO - prefect.FlowRunner | Beginning Flow run for 'My First Flow'
[2020-12-16 11:52:27+0800] INFO - prefect.TaskRunner | Task 'name': Starting task run...
[2020-12-16 11:52:27+0800] INFO - prefect.TaskRunner | Task 'name': Finished task run for task with final state: 'Success'
[2020-12-16 11:52:27+0800] INFO - prefect.TaskRunner | Task 'say_hello': Starting task run...
[2020-12-16 11:52:27+0800] INFO - prefect.TaskRunner | Hello, world!
[2020-12-16 11:52:27+0800] INFO - prefect.TaskRunner | Task 'say_hello': Finished task run for task with final state: 'Success'
[2020-12-16 11:52:27+0800] INFO - prefect.FlowRunner | Flow run SUCCESS: all reference tasks succeeded
[2020-12-16 11:52:27+0800] INFO - prefect.FlowRunner | Beginning Flow run for 'My First Flow'
[2020-12-16 11:52:27+0800] INFO - prefect.TaskRunner | Task 'name': Starting task run...
[2020-12-16 11:52:27+0800] INFO - prefect.TaskRunner | Task 'name': Finished task run for task with final state: 'Success'
[2020-12-16 11:52:27+0800] INFO - prefect.TaskRunner | Task 'say_hello': Starting task run...
[2020-12-16 11:52:27+0800] INFO - prefect.TaskRunner | Hello, Marvin!
[2020-12-16 11:52:27+0800] INFO - prefect.TaskRunner | Task 'say_hello': Finished task run for task with final state: 'Success'
[2020-12-16 11:52:27+0800] INFO - prefect.FlowRunner | Flow run SUCCESS: all reference tasks succeeded

可以看到，Prefect 很好地执行了任务，并输出了运行的日志。接下来，我们来尝试用 Prefect 编写一个简易的工作流程序。

项目实践

现在有这么个需求：获取 GitHub Trending 每日数据，并保存成 CSV 文件。这个要怎么实现呢？

我们先拆解下需求，大致可以分为以下步骤：

  1. download_data：调用接口，获取 GitHub Trending 每日数据。
  2. handle_data：对数据进行处理，选取需要的字段。
  3. save_data：将处理好的数据保存成 CSV 文件。

功能实现

以上的每个步骤分别对应一个子任务，我们来实现下。

首先是 download_data。通过 requests 库，这个不难实现，具体代码如下：

import requests

GITHUB_TRENDING_URL = "https://trendings.herokuapp.com/repo"

def download_data():
    params = {'since': 'today'}
    trending_data = requests.get(GITHUB_TRENDING_URL, params).json()
    return trending_data

我将接口返回的数据转成了 JSON 格式，数据如下：

{
    "count": 24,
    "msg": "suc",
    "items": [
        {
            "repo": "getmeli/meli",
            "repo_link": "[https://github.com/getmeli/meli](https://github.com/getmeli/meli)",
            "desc": "",
            "lang": "TypeScript",
            "stars": "951",
            "forks": "18",
            "added_stars": "291 stars today",
            "avatars": [
                "[https://avatars3.githubusercontent.com/u/32174276?s=40&v=4](https://avatars3.githubusercontent.com/u/32174276?s=40&v=4)",
                "[https://avatars3.githubusercontent.com/u/13135149?s=40&v=4](https://avatars3.githubusercontent.com/u/13135149?s=40&v=4)"
            ]
        },
... many more records  
    ]
}

接下来是实现 handle_data。由于只需要 items 中的内容，所以对其进行处理，代码如下：

def handle_data(data):
    return [i for i in data["items"]]

最后是 save_data。选取 items 中的字段，保存到本地，代码如下：

import csv

def save_data(rows):
    headers = ["repo", "repo_link", "stars", "forks", "added_stars"]
    with open("/tmp/trending.csv", "w", newline="") as f:
        f_csv = csv.DictWriter(f, headers, extrasaction='ignore')
        f_csv.writeheader()
        f_csv.writerows(rows)

工作流

子任务实现后，就可以用 Prefect 编写工作流了，代码片段如下：

from prefect import Flow

with Flow("GitHub_Trending_Flow") as flow:
    data = download_data()
    rows = handle_data(data)
    save_data(rows)

flow.run()

在 Prefect 中，Flow 用于描述任务之间的依赖关系，比如执行的先后顺序或是数据的传递。创建了 Flow 后，就可以通过调用 flow.run() 来执行。

任务

Prefect 将每个步骤当作一项任务，对应代码中的一个函数。但是，怎么将函数声明为 Prefect 的任务呢？

最简单的方法是使用装饰器 @task，比如将 download_data 声明为任务：

from prefect import task
import requests

GITHUB_TRENDING_URL = "https://trendings.herokuapp.com/repo"

@task
def download_data():
    params = {'since': 'daily'}
    trending_data = requests.get(GITHUB_TRENDING_URL, params).json()
    return trending_data

参数

现在需求有变：需要将获取的 GitHub Trending 数据从每日改成每周。考虑到之后时间还可能发生变化，所以我们将时间改为参数。

导入 Parameter，并将 since 作为参数传入，具体代码如下：

from prefect import task, Flow, Parameter
import requests

GITHUB_TRENDING_URL = "https://trendings.herokuapp.com/repo"

@task
def download_data(since):
    params = {'since': since}
    trending_data = requests.get(GITHUB_TRENDING_URL, params).json()
    return trending_data

with Flow("GitHub_Trending_Flow") as flow:
    since = Parameter("since")
    download_data(since)    

flow.run(since="weekly")

工作流编排

Prefect 提供了开源的 server 以及 UI 来编排工作流。但在使用前，请确保安装了 docker 和 docker-compose。

如果是第一次启动需要运行以下命令配置本地工作流：

prefect backend server

运行后会在 ~/.prefect 目录下生成配置文件，之后运行以下命令启动 server：

prefect server start

启动 server 后，访问 http://localhost:8080，如果 server 不安装在本机，则需要修改 ip 地址。同时也要注意修改主页 「PREFECT SERVER」中 GraphQL 的地址：

执行工作流任务至少需要运行一个 agent，可以在本机开启，命令如下：

prefect agent local start

接下来需要创建项目，可以通过命令行创建项目：

prefect create project "GitHub_Trending"

项目创建后，加入以下代码可以将工作流注册到 server 中，这里的 project_name 要和刚创建的项目名对应：

flow.register(project_name="GitHub_Trending")

运行代码进行注册，选好项目可以看到注册成功的工作流。

接着试下从页面运行工作流，不过别忘了指定参数的值：

运行过程中，我们可以看到每个任务执行所消耗的时间。而在 「SCHEMATIC」中，我们也可以很清晰地了解整个工作流任务的依赖关系。

写在最后

文章中仅演示了 Prefect 的部分功能，事实上，Prefect 中还有许多高级的用法，大家有兴趣的话，可以参考官方文档[2]，相信大家完全可以编写功能更复杂的工作流程序。

对这个项目有兴趣的小伙伴也可以读下这篇文章[3]，作者编写了个统计疫情数据并上传至 S3 的工作流程序，并在 GitHub 上开源了，很不错的一篇文章。

最后附上示例的完整代码：

#!/usr/bin/env python3

from prefect import task, Flow, Parameter
import requests
import csv

GITHUB_TRENDING_URL = "https://trendings.herokuapp.com/repo"

@task
def download_data(since):
    params = {'since': since}
    trending_data = requests.get(GITHUB_TRENDING_URL, params).json()
    return trending_data

@task
def handle_data(data):
    return [i for i in data["items"]]

@task
def save_data(rows):
    headers = ["repo", "repo_link", "stars", "forks", "added_stars"]
    with open("/tmp/trending.csv", "w", newline="") as f:
        f_csv = csv.DictWriter(f, headers, extrasaction='ignore')
        f_csv.writeheader()
        f_csv.writerows(rows)

with Flow("GitHub_Trending_Flow") as flow:
    since = Parameter("since")
    data = download_data(since)
    rows = handle_data(data)
    save_data(rows)

#flow.run(since="weekly")
flow.register(project_name="GitHub_Trending")
References

[1] Prefect：https://github.com/PrefectHQ/prefect
[2] 文档：https://docs.prefect.io/core/
[3] 文章：https://makeitnew.io/prefect-a-modern-python-native-data-workflow-engine-7ece02ceb396

Xpitz
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Python爬虫-使用Prefect框架实现一个可视化爬虫项目
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
03-11 415
本文是该专栏的第19篇，后面会持续分享python爬虫干货知识。相信有的同学，在处理爬虫项目的时候，有时也会需要你将爬虫项目进行一个可视化展示，方便管理者能及时详细的了解当前爬虫任务的执行进度以及执行情况，甚至需要做一个爬虫监控预警的可视化任务。而本文，笔者将结合一个实际爬虫案例，借助于Prefect 框架，来实现爬虫项目的可视化。Prefect，它是一个开源的工作流自动化框架，专为数据科学和机器学习工作流而设计。它允许用户定义、调度、执行和监控复杂的计算任务，并确保这些任务按照指定的依赖关系和顺序执行。
trollflow:Trollflow，一个小型的 Python 工作流执行框架
07-08
巨魔流 Trollflow 是一个小型工作流执行框架，其灵感来自建模工作流引擎 MWE2 ( )。 它执行松散耦合的软件组件流。 组件是通过子类工作流_component.AbstractWorkflowComponent 并至少实现一个 invoke() 方法来创建的。 每个组件都保持插槽以与其环境交换数据和信息。 工作流目前只是 json 文件。 工作流示例可以在 /test 下找到 Trollflow 目前正在开发中。 尝试运行它的最简单方法是将 trollflow 添加到您的虚拟环境中。 使用 virtualenvwrapper： add2virtualenv /path/to/trollflow 并运行它： python workflow/workflow_launcher.py /path/to/workflow.json 去做 创建一个 setup.py 包括测试
python工作任务流flow实时框架：prefect
Zhang Phil
11-19 5634
prefect是一个python的工作任务流调度实时框架，prefect可以快速构建平台系统复杂模块间工作流的监测。当平台系统模块之间的调用链越来越复杂时候，任务执行起来，已经很难盘点清楚程序逻辑和工作流运转的路线图。prefect通过简单的@注解，即可清晰在线、实时的梳理清楚系统运行“思维导图”。
基于python的工作流管理系统_Prefect：面向数据科学的工作流自动化管理系统
weixin_39740283的博客
01-30 641
Hello, world!????We've rebuilt data engineering for the data science era.Prefect is a new workflow management system, designed for modern infrastructure and powered by the open-source Prefect Core...
perfect-cube:画一个立方体并获得分数
04-11
寻找可共享的组件模板？ 去这里-> 苗条的应用程序 这是应用程序的项目模板。 它位于 。 要使用基于此模板创建一个新项目： npx degit sveltejs/template svelte-app cd svelte-app 请注意，您将需要安装 开始吧 安装依赖项... cd svelte-app npm install ...然后开始： npm run dev 导航到 。 您应该看到您的应用正在运行。 在src编辑组件文件，将其保存，然后重新加载页面以查看所做的更改。 默认情况下，服务器将仅响应来自本地主机的请求。 要允许来自其他计算机的连接，请编辑package.json中的sirv命令以包括选项--host 0.0.0.0 。 如果您使用的是 ，建议您安装官方扩展 。 如果使用其他编辑器，则可能需要安装插件才能突出显示语法和智能感知。 以生产模式构建和运行
将任何 Python 函数转变成一个可被观察和编排的流程
Saki_Python的博客
08-25 412
Prefect 是一个用于数据密集型工作流程编排的工具。它能够最简单地将任何 Python 函数转变成一个可被观察和编排的工作单元。通过 Prefect 可以构建弹性的、动态的工作流程，使其能够对周围的环境做出反应，并能从意外变化中恢复过来。通过添加装饰器，Prefect 提供了自动重试、分布式执行、调度、缓存等诸多增强功能。每个任务都能被追踪，并可通过 Prefect 服务器或 Prefect Cloud 仪表板进行监控。这是将任何 Python 函数转换为可观察和编排的工作单元的最简单方法。
工具系列：数据编排工具_Prefect Cloud介绍
数智笔记
01-04 595
Prefect 是传统Apache AirFlow的成员出来做的项目，相比AirFlow有不少优势。Prefect Cloud 允许计算机作为数据处理单元，结果传入Prefect云服务中，并在其中管理数据计算流程。不需要安装Prefect UI和Prefect Server。对于隐私性不太高的数据计算项目，使用Prefect Cloud的个人版，简单快捷。目前Prefect已经开发的2代了，最新版本2.7.5。
【Python】高效的数据处理方式：Dask与Prefect
禅与计算机程序设计艺术
08-15 1004
作者：禅与计算机程序设计艺术 1.简介 Dask Dask是一个开源的基于Python的分布式计算库，它可以让程序员快速并行地处理大数据。它提供诸如数组、DataFrames、Bag等多种数据结构，可以轻松地对数据进行切分和拼接，方便开发者将复杂的计算任务分解为简单
探索Prefect：流程自动化的新星
最新发布
gitblog_00044的博客
03-19 286
探索Prefect：流程自动化的新星 项目地址:https://gitcode.com/PrefectHQ/prefect Prefect 是一个开源的、可扩展的平台，专注于数据和工作流自动化。它为开发者提供了一种灵活的方式来定义、调度和监控复杂的任务执行流程，让你可以更高效地管理你的数据分析或机器学习项目。 技术分析 Prefect 的核心技术在于其流程（Flow）的概念，这是一个可序列化的代码...
perfect-pangram-finder:一个用于生成完美Pangram的Javascript程序
05-11
生成完美的Pangram 七巧板是使用给定字母表中所有字母的一系列单词。 在各种程序中选择字体时，您可能会看到一种流行的英语pangram，它是“快速的棕色狐狸跳过了懒惰的狗”。 每个字母至少出现一次，但是某些字母（例如U和O）会出现多次。 完美的字母是没有字母重复的字母。 动机 最近（在撰写本文时），我玩了一个名为“ Shh”的游戏（强烈推荐）。 Shh是一种协作游戏，其中玩家作为一个团队，一次创建一个字母就能制作出完美的人物头像。 在玩过Shh并连续数次遭受惨败之后，我（天真地）认为我可以编写一个程序来生成所有获胜组合。 我从一个简单的递归程序开始，以生成所有可能的字母组合并检查每个字母是否为字母组合图。 运行代码 克隆，然后： npm install npm test # for the tests (which are not exhaustive ... ) node s
ml-workflows:一个项目，提供了一种简单的方法来开始使用Prefect和Dask为AWS中的机器学习工作流构建分布式环境
03-15
ml-werkflows 一个项目，提供了一种简单的方法来开始使用Prefect和Dask为AWS中的机器学习工作流构建分布式环境。 我想使用pythonic方法来构建引导资源，以使任何人都能快速开始使用Dask和Prefect进行云环境中的分布式数据处理和ML资源操作。 我已经在一个AWS环境中为我工作过的一家独立公司创建了一个流程，但是我想按照类似的方法为一家独立公司创建另一个项目。 为了能够采用这种出色的技术堆栈，我决定着手进行一个项目，该项目将使其他人可以轻松地采用类似的方法，并允许自己为我的其他工作建立一个项目。 这个想法是使用Pulumi基础架构代码（IaC）定义和管理AWS中的无服务器基础架构，然后可以将其与Prefect和Dask一起使用。 我将Poetry用于工作流文件夹中的程序包管理，以使启动过程更流畅。 该项目有2个主要目录： ：IaC，用于在AWS云环境中
Perfect-Numbers:确定一个正整数是否是一个完美数
06-13
完全数 确定一个正整数是否是一个完美数 在数论中，完全数是一个正整数，它等于它的真正除数之和，即不包括该数本身的正除数之和。 等效地，完全数是所有正除数之和的一半的数。 不知道是否存在奇完全数，也不知道是否存在无穷多个完全数。 第一个完全数是 6，因为 1、2 和 3 是其固有的正约数，而 1 + 2 + 3 = 6。等效地，数 6 等于其所有正约数之和的一半：（ 1 + 2 + 3 + 6 ) / 2 = 6. 下一个完全数是 28 = 1 + 2 + 4 + 7 + 14。接下来是完全数 496 和 8128。 这些定义了基于正整数的正整数的三个分类。 令 P(n) 为 n 的真因数之和，其中 n 的真因数除 n 本身外，都是 n 的正因数。 如果 P(n) < n xss=removed> n 那么
wift和Perfect软件框架逐步设置一个简单的HTTP服务器
03-29
在[优筑教育]时候 接到老板的通知 决定用Swift-3.0 + Xcode8.2版本开发一个简单的[微信小程序] 系统要求 Swift 3.0 在您从Swift.org（英文版）完成Swift 3.0 toolchain工具集安装之后，请打开一个命令行终端并输入命令 swift --version 如果能够看到类似于下面的消息就对了： Apple Swift version 3.0 (swiftlang-800.0.33.1 clang-800.0.31) Target: x86_64-apple-macosx10.9 请注意您需要最新版本的Swift 3.0，无论是预览版（preview）
de-demo:使用prefect在python中实现非常基本的ETL实现
04-13
依存关系 要运行，您将需要一些先决条件： Python：3.6版以后的任何版本都可以正常工作 sqlite3
leetcode中国-4-perfect-squares:一个leetcode问题，如
06-29
给定一个整数 n，找出加起来为 n 的最小完全平方列表的长度。 例子： SumOfSquares(5) = 2 5 = 4 + 1（4 和 1 是完全平方数）。 SumOfSquares(15) = 4 15 = 9 + 4 + 1 + 1。无法将 15 表示为三个平方的和。 SumOf...
perfect-validator:完美JavaScript验证程序库
05-11
PerfectValidator
python 工作流引擎_完美的现代python本地数据工作流引擎
weixin_26721705的博客
09-04 4197
python 工作流引擎At one point working in a data project, you will always end up with multiple (dependent or independent) data processing steps that you need to somehow connect, schedule for periodic execut...
python写程序：编写一个判断完数的函数。完数是指一个数恰好等于它的因子之和，如，6就是完数。
03-21
以下是判断完数的 Python 函数： ```python def is_perfect_number(num): factors = [] for i in range(1, num): if num % i == 0: factors.append(i) if sum(factors) == num: return True else: return False ``` 你可以调用这个函数并传入一个整数来判断它是否是完数。如果是完数，函数将返回 True，否则返回 False。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值