一行命令：从 ELK 迁移日志服务

概述

日志服务相比自建 ELK 在功能、性能、规模和成本等方面有诸多优势，参阅自建ELK vs 日志服务(SLS)全方位对比。对于已经存储在 Elasticsearch 中的数据，用户只需要一行命令就能方便地将数据迁移至日志服务。

数据迁移简介

数据迁移顾名思义是指将数据从某个数据源迁移到另外一个数据源。根据不同数据源存储引擎是否相同，可分为同源迁移和异构迁移。根据迁移类型的不同，可分为全量迁移和增量迁移。
目前，各大云计算厂商都提供了各自的数据迁移方案，如 AWS DMS，Azure DMA，阿里云 DTS。这些方案主要专注于解决关系型数据库间的数据迁移问题，还未覆盖到 Elasticsearch 场景。

Elasticsearch 数据迁移方案

针对 Elasticsearch 场景，日志服务团队提供了基于 aliyun-log-python-sdk 和 aliyun-log-cli 的解决方案。该方案主要针对历史数据做全量迁移。

原理

• 使用 Scroll API 从 Elasticsearch 抓取数据。Scroll API 可以从 Elasticsearch 里高效取出大量数据而无须付出深度分页的代价。
• 针对 Elasticsearch 每个 index 的每个 shard 创建一个数据迁移任务，提交到内部进程池中执行，用来提高并行度和吞吐量。

功能

• 支持用户将 Elasticsearch 中的所有文档或某些索引中的文档迁移至日志服务指定的 project 中，工具会自动初始化好与索引同名的 logstore。
• 支持用户自定义过滤条件，只迁移符合条件的文档至日志服务。
• 支持用户自定义 Elasticsearch 的索引和日志服务的 logstore 之间的映射关系。
• 支持用户通过参数 pool_size 来控制数据迁移任务的并行度。
• 支持用户自定义日志字段 time、__source__、__topic__ 的取值。
• 支持使用 HTTP 基本认证从 Elasticserch 中迁移数据。

映射关系

Elasticsearch 数据模型中包含 - 索引（index），类型（type），文档（document），映射（mapping），数据类型（field datatypes）等概念，它们和日志服务中数据模型的映射关系如下表所示。

Elasticsearch	日志服务	说明
index	logstore	允许用户将多个 index 上的数据迁移至一个 logstore。
type	logItem 中的字段 __tag__:_type
document	logItem	Elasticsearch 的文档和日志服务中的日志一一对应。
mapping	logstore 的索引	工具默认情况下会为您自动创建好索引。
field datatypes	logItem 数据类型	具体映射关系参考数据类型映射。

使用样例

下面通过一段视频向您展示如何使用 CLI 将 nginx 访问日志从 Elasticsearch 迁移至日志服务，以及如何对这批数据进行查询分析。

迁移命令

aliyun log es_migration --hosts=<your_es> --project_name=<your_project> --indexes=filebeat-* --logstore_index_mappings='{"nginx-access": "filebeat-*"}' --time_reference=@timestamp

查询分析

1.以天为单位统计各状态码的数量。

* | SELECT  date_trunc('day' ,  __time__)  as t, "nginx.access.response_code" AS status, COUNT(1) AS count GROUP BY status, t ORDER BY t ASC

2.统计请求分布在哪些国家。

* | SELECT ip_to_country("nginx.access.remote_ip") as country, count(1) as count GROUP BY country

性能调优

工具的性能主要取决于从 Elasticsearch 中读取数据的速度以及向日志服务写入数据的速度。

Elasticsearch 读取速度

Elasticsearch 中每个 index 由多个 shard 组成。工具会为每个 index 的每个 shard 创建一个数据迁移任务，并提交到内部进程池中执行（进程池大小可通过参数 pool_size 指定）。理论上目标 index 的 shard 越多，整体吞吐量越高。

日志服务写入速度

日志服务也有 shard 的概念，单个 shard 提供 5MB/s，500次/s 的写入能力。您可以通过为 logstore 开启更多的 shard 来提高向日志服务写入数据的速度。

性能数据

在 Elasticsearch 目标 index 只有1个 shard，日志服务 logstore 也只有1个 shard，单个文档大小 100B 的情况下，平均数据迁移速率为 3MB/s。

参考资料

• CLI 方式使用文档 - https://github.com/aliyun/aliyun-log-cli/blob/master/doc/tutorials/tutorial_es_migration_cn.md
• CLI 配置文档 - https://aliyun-log-cli.readthedocs.io/en/latest/tutorials/tutorial_configure_cli_cn.html
• SDK 方式使用文档 - https://github.com/aliyun/aliyun-log-python-sdk/blob/master/doc/tutorials/tutorial_es_migration.md
  

技术支持