kettle连接es_Elasticsearch+Kettle spoon：实现索引自动按月创建，数据插入到指定路由...

Elasticsearch+Kettle spoon：实现索引自动按月创建，数据插入到指定路由

发布时间：2018-06-30 15:36,

浏览次数：1840

, 标签：

Elasticsearch

Kettle

spoon

背景

随着时间的推进，es里面的索引文件越来越大。要想保住系统的效率，就必须要分索引、分路由。那么问题来了，目前项目上采用的是Spoon7.1进行数据更新，这样就存在以下问题：

1、利用spoon连es时，索引的名称不支持动态变量？

2、抽取数据时，对es里不存在的索引，spoon会自动生成，但不能生成我想要的mapping?

3、抽取到es，spoon不能指定文档插入的路由？

分析

针对第二点：可以利用es的template功能，设定模板，利用spoon往es里抽取时，不存在的索引会自动生成。生成索引的时候会按照我们设置的模板进行生成，包括mapping。

针对第一点：利用现有的功能，没有找到怎么实现。

针对第三点：对于es2.0之前的版本，可以设置按照文档的某个字段进行自动路由，但之后的版本不支持。

结论：要么不用工具，要么改造工具。比较了以下，后者工作量较小一点，确定这个为最终目标。

插件改造

1、kettle

spoon整个项目都是开源的，可以去github上下载你想改造的版本。然后