使用Datax将mySql数据同步到ES,问题总结

1、ES的mapping包含主键id,引也会包含_id。

如果需要_id的值和主键id一直 ,需要在reader的querysql里面查询 id as _id,在writer的column里面设置_id,如下图


        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "root",
            "password": "xxxx",
            "connection": [
              {
                "querySql": [
                  "select id as _id ,`id`, `name`  from table where  id ='1696750771921267' "
                ],
                "jdbcUrl": [
                  "jdbc:mysql:xxxxxxx"
                ]
              }
            ],
            "sliceRecordCount": 100000
          }
        },
        "writer": {
          "name": "elasticsearchwriter",
          "parameter": {
            "endpoint": "xxxxxx:9200",
            "accessId": "xxxxx",
            "accessKey": "xxxx",
            "index": "index_xxxx_1",
            "cleanup": false,
            "dynamic": true,
            "discovery": false,
            "batchSize": 1000,
            "column": [
              {
                "name": "_id",
                "type": "id"
              },
              {
                "name": "id",
                "type": "text"
              },
              {
                "name": "name",
                "type": "text"
              },
.........

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值