![](https://img-blog.csdnimg.cn/702b1cc80b49470aa6e8e13d2fefdbcd.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Airflow系列
文章平均质量分 81
Airflow使用总结
mkdir700
梦想还是要有的
展开
-
【Airflow踩坑】XCom大数据传递反序列化失败
我在做一个ETL任务时,发现上流任务的返回值(5W条数据),无法在下流任务中解析出来。默认使用的是以Json数据作为任务之间的值传递。查看日志,抛出异常如下:json.decoder.JSONDecodeError: Unterminated string starting at: line 1 column 65528 (char 65527)json反序列失败了。如果是采用pic原创 2021-12-30 17:39:28 · 1736 阅读 · 2 评论 -
【入门Airflow】 如何实现动态DAGs ?利用多任务提升效率
静态多任务造点假数据from faker import Fakerimport pymongofaker = Faker(locale='zh_CN')client = pymongo.MongoClient("mongodb://localhost:27018")coll = client.get_database("test_db").get_collection("10w")docs = [{"username": faker.language_name(), "age": fake原创 2021-12-19 15:48:11 · 2775 阅读 · 5 评论 -
【入门Airflow】Connection管理|如何连接数据库?
在很多时候,我们都在和数据是打交道,所以经常会去做一些数据库连接,比如Mysql、Mongo等等。如果直接把数据库连接写在DAG中,这虽然是可行的,但这会暴露数据库连接等敏感信息,并且当数据库连接信息发生变化时,维护成本也将大大提升。了解ConnectionAirflow提供了Connections 帮助用户管理各种连接(不仅限于数据库连接)。打开Airflow Web,选中Admin Connections即可管理所有连接。我们使用docker-compose快速搭建的Airflow默.原创 2021-12-18 15:33:35 · 3518 阅读 · 0 评论 -
【入门Airflow】轻松实战第一个的DAG编写
我们接触一个新的框架总会有许多新概念,这些概念虽然比较重要,但我想它的功能才是我们初步接触最想体验的,所以我更偏向于在使用的过程中去逐渐了解。本文将从实际需求出发完成一个DAG的编写,并且我会写些BUG,以达到避坑的目的。需求现在我们有一个需求,每天定时请求下方接口,并把数据保存成文本文件。https://www.bing.com/HPImageArchive.aspx?format=js&idx=1&n=10&mkt=en-US分析一共两个步骤:请求接口;原创 2021-12-16 22:29:39 · 4153 阅读 · 1 评论 -
【入门Airflow】 使用Docker在本地快速搭建Airflow
本文主要参考官方文档编写。我将顺着官方文档的流程在本地安装Airflow ,并且附上安装过程的截图。其实官方文档步骤写得都是比较详细,奈何这英语能力真的拉跨。不过还是建议大家在使用过程中遇到的任何问题,优先去查看官方文档,有奇效。官方文档:https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html生产准备这里Airflow官方建议我们不要使用当前这种“快速入门”的方式用在生产环境。本文的这种方式就供我们原创 2021-12-16 18:39:38 · 7014 阅读 · 7 评论