【Airflow踩坑】XCom大数据传递反序列化失败

基本信息

Airflow版本：2.2.3

部署方式：K8s + helm

后端数据库：Mysql5.7

异常描述

注意：Airflow官方不推荐通过XCom方式在任务间传递较大数据

我在做一个ETL任务时，发现上流任务的返回值（5W条数据），无法在下流任务中解析出来。

默认使用的是以Json数据作为任务之间的值传递。

查看日志，抛出异常如下：

json.decoder.JSONDecodeError: Unterminated string starting at: line 1 column 65528 (char 65527)

json反序列失败了。

如果是采用pickle 二进制作为任务之间的值传递，则会出现以下报错：

airflow pickle data was truncated

意思是，这个数据被截断了，即不完整。

解决方案

看到truncated关键字，数据被截断。

这让我判断出可能和Mysql字段定义的长度有关系。

任务之间的值传递依赖Xcom模块，它在后端数据库的表明同名，查看value字段的类型为blob

blob最大的存储为65kb，我们只需要修改这个字段类型为mediumblob 或者 longblob。

ALTER TABLE `airflow`.`xcom` 
MODIFY COLUMN `value` mediumblob NULL AFTER `key`;

参考文章

• MySQL中的BLOB类型