使用 DataX将数据从MySQL导入ES 7.6.2

使用 DataX 将数据从 MySQL 导入 ES

介绍

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

官方文档：DataX

使用说明

方法一、直接下载DataX工具包：DataX下载地址

下载后解压至本地某个目录，进入bin目录，即可运行同步作业：

$ cd  {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}

自检脚本： python {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/job.json

Job.json 编写指南

以下为 street 表，导入 ES street_index 的编写指南

{
   
	"job": {
   
		"setting": {
   
			"speed": {
   
				"channel": 1
			},
			"errorLimit": {
   
				"percentage": 0
			}
		},
		"content": [{
   
			"reader": {
   
				"name": "mysqlreader",