kettle中使用REST Client组件将mysql数据导入elasticsearch

一、前言

elasticsearch-bulk-insert-plugin插件，如下图，参数配置不能使用kettle.properties文件设计的变量，不利于作业迁移。考虑到ES支持rest api，尝试使用REST Client组件往ES迁移数据

二、方法

1、转换总览

2、表输入

3、JSON Output

拿到源表数据后转成JSON类型：


此步骤将从mysql表拿到的数据转成了如下格式：

4、JSON Input

还需进一步解析才能获得适合推入ES的json数据：


JSONPath可参考下：https://blog.csdn.net/lwg_1540652358/article/details/84111339

5、REST Client

向ES发送请求：

6、备注

若mysql源表中存在NULL值，依然能插入ES。从mysql数据转成的json为：

查询ES：

使用exists查询字段为null的文档：