ES Logstash数据同步入门

1 介绍

官网地址：https://www.elastic.co/cn/logstash

Logstash 是一个功能强大的工具，可与各种部署集成。 它提供了大量插件，可帮助你解析，丰富，转换和缓冲来自各种来源的数据。 如果你的数据需要 Beats 中没有的其他处理，则需要将 Logstash 添加到部署中。

Logstash 是 Elastic 栈非常重要的一部分，但是它不仅仅为 Elasticsearch 所使用。它可以介绍广泛的各种数据源。Logstash 可以帮利用它自己的Filter帮我们对数据进行解析，丰富，转换等。

最后，它可以把自己的数据输出到各种需要的数据储存地，这其中包括 Elasticsearch。

简单点来说 Logstash 是一个数据流引擎：

• 它是用于数据物流的开源流式ETL引擎
• 在几分钟内建立数据流管道
• 具有水平可扩展及韧性且具有自适应缓冲
• 不可知的数据源
• 具有200多个集成和处理器的插件生态系统
• 使用 Elastic Stack 监视和管理部署

我们可以通过设置自增id主键或者时间来控制数据的自动同步，时间就是用于给logstash进行识别的 。

• id： 假设现在有1000条数据，Logstatsh识别后会进行一次同步，同步完会记录这个id为1000，以后数据库新增数据，那么id会一直累加，logstash会有定时任务，发现有id大于1000了，则增量加入到es中 。
• 时间： 同理，一开始同步1000条数据，每条数据都有一个字段，为time，初次同步完毕后，记录这个time，下次同步的时候进行时间比对，如果超过这个时间的，那么就可以做同步，这里可以同步新增数据，或者修改元数据，因为同一条数据的时间更改会被识别，而id则不会。

2 工作原理

官网地址：https://www.elastic.co/guide/en/logstash/current/index.html

Logstash 包含3个主要部分： 输入(inputs)，过滤器(filters)和输出(outputs)。 你必须定义这些过程的配置才能使用 Logstash，尽管不是每一个都必须的。在有些情况下，我们可以甚至没有过滤器。在过滤器的部分，它可以对数据源的数据进行分析，丰富，处理等等。

3 相关信息

• 博文不易，辛苦各位猿友点个关注和赞，感谢