阿里云 SLS 日志数据同步 MaxCompute 实操

背景

阿里云日志服务（SLS）是一种实时日志数据收集、存储、查询 、分析 的全托管服务，帮助用户高效管理和利用日志数据。我司将线上服务日志收集到 SLS ，但是 SLS控制台 分析日志很不方便，想将日志 Sink 到数仓中再进行。在这里我将使用 2 中方式达成上述目标。

DataWorks 离线同步

首先，我们使用 DataWorks 的离线同步功能，这种方式方便快捷，需要先创建一个 Di 任务 ，具体如下：

选择 source 和 target 数据源，接着 一键创建表结构，配置好 字段映射 ，最后同步数据即可。

SLS Sink

其次，SLS 控制台日志存储 列表中有数据导出功能，具体如下图：

点击 导出>MaxCompute 创建 投递任务，具体如下图：

首先要创建 target table ，然后给自定义角色赋权，详细赋权操作内容可见通过自定义RAM角色写数据到MaxCompute。

其次，要配置好字段映射，分区列 设置可见保留字段，投递模式可以选择 实时或者批投递。创建完成之后开启任务即可，任务详情可见：

以上就是将 SLS 日志数据同步 MaxCompute 的两种方法，有任何问题欢迎大家在评论区留言。