kettle7.1中支持的es连接插件,只支持es2.2版本,需要替换elasticsearch-bulk-insert-plugin插件
源码及插件见:链接: https://pan.baidu.com/s/1yEjLaWJZLcMElGtKYKXtug 密码: pb8j
下载完后,在解压文件夹中,拷贝以下文件,替换到kettle data-integration\plugins\elasticsearch-bulk-insert-plugin
路径下
修改elasticsearch的配置文件elasticsearch.yml
cluster.name: es
node.name: es_node_0
path.data: /app/elk/elasticsearch-6.4.2/data
path.logs: /app/elk/elasticsearch-6.4.2/logs
http.cors.enabled: true
http.cors.allow-origin: "*"
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 10.0.0.79
http.port: 9200
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: ["10.0.0.79:9300"]
重启es
在kettle中通过ElasticSearch Bulk Insert
插件连接
测试连接成功
若插入时提示id不存在则可以通过随机生成UUID做为id插入
但需要注意一个问题,使用UUID做为es的id,会影响查询性能,最好还是使用有规律的id