mysql数据同步到es的datax json脚本编写

7 篇文章 0 订阅
5 篇文章 0 订阅
{
	"job": {
		"setting": {
			"speed": {
				"channel": 32
			}
		},
		"content": [{
			"reader": {
				"name": "mysqlreader",
				"parameter": {
					"username": "数据库用户名",
					"password": "数据库密码",
					"column":[
						"id",
						"id",
						"列名1",
						"列名2",
						"列名n"
					],
					"connection": [{
							"table": [
								"表名1",
								"表名2",
								"表名n"
							],
							"jdbcUrl": [
									"jdbc:mysql://IP地址:端口号/数据库名称"
							]
					}]
				}
			},
			"writer": {
				"name": "elasticsearchwriter",
				"parameter": {
					"endpoint": "http://es地址:9200/",
					"index": "es索引名称",
					"accessId": "admin",
					"accessKey": "1111",
					"timeout": 3600000,
					"cleanup": false,
					"discovery": false,
					"batchSize": 4096,
					"splitter": ",",
					"column": [{
							"name": "_id",
							"type": "id"
						},
						{
							"name": "id",
							"type": "long"
						}, {
							"name": "es字段1",
							"type": "integer"
						}, {
							"name": "es字段2",
							"type": "keyword"
						}, {
							"name": "es字段n",
							"type": "keyword"
						}
					]
				}
			}
		}]
	}
}

datax命令:python datax/bin/datax.py  --jvm='-Xms10g -Xmx10g' json脚本文件名称
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值