分享不一样的技术，与你一起共同成长!

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、 Linux、 Unix上运行，绿色无需安装，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做...

目前市场上基于ELK的日志系统，其中数据采集、数据过滤、数据存储可以采用Filebeat、Logstash、Elasticsearch进行实现。但是日志告警相关工具较少，要么购买Elastic的付费服务可以使用日志告警功能，要么我们只能选择一些相对靠谱的开源方案例如。所以后来，我自己花了点时间造轮子在Github进行了开源，解决了我们使用Elastalert过程中的一些问题。1.针对数据的展示和分析我们可以采用Kibana进行可视化分析，同时也可以对接Grafana进行数据分析。

后来直接看源码分析吧。在已经设置@metadata._id的情况下并且没做其他操作，那么filebeat调用Elasticsearch的_bulk API接口，使用action: create进行插入数据. (create的基本原理是, 根据_id判断数据，如果数据已经存在则忽略插入操作，如果不存在才插入)相对上面的情况，我们有时候希望的是，相同_id存在的情况下是后面推送的数据是覆盖而不是丢弃。1.就算是官方文档也不可能事无巨细的写在上面， 如果官方文档没有的，可以尝试从源码入手，也是一个不错的选择。

一.背景 公司基于ELK的日志系统一直很稳定，不过有一天下午，微信收到Kafka topic延迟堆积告警将近6000w条数据。首先接收到告警，查看了这个业务最近7天的一个流量图，基本上量都很小，每秒也就2k左右的数据流量，但是今天下午流量直接跑到了30k/s并且持续了一段时间. 首先找到业务方负责的SRE同事，确认流量是否属于正常(不排除上线新款游戏流量暴增的情况).SRE同事确认流量异常，最近无新游戏或者活动上线，开始排查原因。我们看到的现象是，某台服务器日志文件路径应该是今天只采...