简介
日志服务(Log Service,简称 SLS)是针对日志类数据的一站式服务,在阿里巴巴集团经历大量大数据场景锤炼而成。您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立 DT 时代海量日志处理能力。
将MaxCompute 中的数据导入到日志服务,利用日志服务的查询和可视化功能,对数据进行分析和可视化展示,使用数据加工对数据进一步处理,充分发掘数据的价值。
![5c119db7523db86eb3ceb7c74af40f5f.png](https://i-blog.csdnimg.cn/blog_migrate/a7a8c44eab6f98632a68957d5bc821f2.png)
日志服务提供的数据导入功能,支持从OSS,MaxCompute,Kafka等数据源同步数据。使用数据导入同步数据具备如下的优势:
- 配置简单,用户仅需在日志服务控制台完成简单配置即可实现导入。
- 导入服务完全由日志服务托管,无需运维。
- 支持动态水平扩展,根据用户的数据量自动分配资源,实现快速导入。
日志服务基本概念
- 日志:日志服务中处理的最小数据单元,每行日志包含日志发生时间和一组key-value 均为字符串格式的字段列表。
- 项目(Project):日志服务中的资源管理单元,用于资源隔离和控制,管理着用户的所有日志库等资源。
- 日志库(Logstore):日志数据的采集、存储和查询单元。每个日志库属于一个项目,且每个项目可以创建多个日志库。
MaxCompute 介绍
大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的EB级数据仓库解决方案。
MaxCompute 基本概念
- 项目(Project):类似于传统数据库的Database的概念,是进行多用户隔离和访问控制的主要边界。
- 表(Table):表是MaxCompute的数据存储单元,是由行和列组成的二维结构,每行代表一条记录,每列表示相同数据类型的一个字段,一条记录可以包含一个或多个列。
导入步骤
环境准备
- 准备需要导入的MaxCompute Project和Table,以及能够访问该Table的Access Key。
- 已经开通日志服务,并且已经创建好Project,Logstore和索引。
源数据预览
假设用户数据存储在 access_log 这个表里,其字段包括了String,Int,Double等类型。
![71b4c09fe286c81cca293e9d0b2010e9.png](https://i-blog.csdnimg.cn/blog_migrate/f7d559e759d6310b58541dfae3e9a627.png)
配置导入任务
1 进入日志服务控制台首页,接入数据选择 MaxCompute 数据源
![6c5564b6a461af846fe47d534cc4d35f.png](https://i-blog.csdnimg.cn/blog_migrate/5091f682e78af4de63ea44f9464b2617.jpeg)
2 选择导入目标Project和Logstore
如果还没有创建Project和Logstore,可以从右侧立即创建入口创建。需要确认导入任务开始之前目标Logstore已经配置了合适的索引。
![eac8f79387f82b42cb9be4ef1dd1caab.png](https://i-blog.csdnimg.cn/blog_migrate/b42f0d8a7979bc4ae41269e72f12afd9.jpeg)
3 配置访问MaxCompute必需的信息,支持预览数据
![5b7563d9c55b9e35207e35a4b47946f1.png](https://i-blog.csdnimg.cn/blog_migrate/0f9ea70653aa7296c64b887319731685.jpeg)
参数说明
![96b8b4ce986e92ce907978e88ae1c2d3.png](https://i-blog.csdnimg.cn/blog_migrate/b09f682972144aaa2e48e606bb74dfdc.jpeg)
3 配置时间解析方式
默认使用系统时间时间作为数据时间,用户也可以使用MaxCompute 表中的字段作为数据的时间
![90348ac0c5ce274708be15a665812be9.png](https://i-blog.csdnimg.cn/blog_migrate/c2c4f0d58f593ecf382f7fb4e1afa429.jpeg)
4 配置调度间隔
![1b1e5a6eef1777ff1502e52510719f68.png](https://i-blog.csdnimg.cn/blog_migrate/f1f131cda2fe9afe134f40d32c8170aa.png)
日式服务根据配置的导入间隔定时执行增量导入任务。
导入结果预览
![5be9a3561f095f59c43e7f69de6a3053.png](https://i-blog.csdnimg.cn/blog_migrate/6021af181870039a5f544237290e3712.jpeg)
MaxCompute表中的每行数据自动转化为一行日志数据。每列作为日志中的一个字段,列名作为日志的字段名称。各个字段类型映射为日志类型的规则如下:
![b444a7afa862b1ebc42166bace02f471.png](https://i-blog.csdnimg.cn/blog_migrate/b39b75bf53b095f895fdeb5be870ada3.png)
导入任务管理
创建导入任务后,日志服务自动创建用于存放导入任务诊断日志的Logstore(internal-diagnostic_log)和统计报表。导入异常时可以在诊断Logstore中查看异常原因。
![aad001f7eb21ac800869aa5796020898.png](https://i-blog.csdnimg.cn/blog_migrate/42aeb6756c8a01a92f08bdd00e2d420b.jpeg)
更多资源
MaxCompute介绍:https://help.aliyun.com/document_detail/27800.html
日志服务介绍:https://help.aliyun.com/document_detail/48869.html
MaxCompute导入使用文档:https://help.aliyun.com/document_detail/153354.html