利用MaxCompute内建函数及UDTF转换json格式日志数据

摘要： 本文介绍了如何使用MaxCompute UDF对JSON格式的日志进行信息提取和转换。

 

一、业务场景分析：

由于业务的复杂性，数据开发者需要面对不同来源的不同类型数据，需要把这些数据抽取到数据平台，按照设计好的数据模型对关键业务字段进行抽取，形成一张二维表，以便后续在大数据平台/数据仓库中进行统计分析、关联计算。

本文结合一个具体的案例来介绍如何使用MaxCompute对json格式的日志数据进行转换处理。

1.数据来源：应用实时写入ECS主机的指定目录下的日志文件中；

2.数据格式：日志文件中，每条日志的格式如下图所示（示例中对数据进行了简化和脱敏），每一条日志中包含了设备信息，以及1个或多个Session信息，且每条日志中的Session数量是动态的：1个或多个Session。每条日志的内容示例如下：

3.数据处理需求：采集日志数据，对日志数据进行解析、转换，对转换后的日志数据在MaxCompute进行统计分析。由于日志数据是json格式的，其中