es pipeline 脚本的一些使用案例（动态索引和字段格式化）

最新推荐文章于 2024-06-22 23:38:20 发布

心有栖

最新推荐文章于 2024-06-22 23:38:20 发布

阅读量3k

点赞数

分类专栏：随笔记录文章标签： elasticsearch mysql 数据库

本文链接：https://blog.csdn.net/qq_27621745/article/details/120527933

版权

随笔记录专栏收录该内容

12 篇文章 0 订阅

订阅专栏

本文介绍了如何利用Canal将MySQL数据导入Elasticsearch，并根据字段值动态路由到不同索引。通过创建脚本处理器，实现了字段b为0的数据进入index_a，否则进入index_b。同时，展示了如何使用Painless脚本将日期格式转换为时间戳，便于数据处理。在处理亿级别数据时，注意Canal文档不全，需谨慎使用。

摘要由CSDN通过智能技术生成

背景

公司有个需要将数据从mysql导入es，要求字段b如果为0，那么将该条数据方式索引index_a,否则放入index_b, 由于数据库中存储的时间格式为date，存入es时需要转换为时间戳。
数据量大概在亿级别，这边导入数据使用的是阿里的canal，canal文档不全，还有些已经过时，笔者踩了许多坑。总之慎用

解决方案

当时接到需求以为是不可能实现的（原谅我对es知之甚少），后来在浏览canal issues 时，#3604 有人提到将数据按月切分，其中clannad2000 提出使用es pipeline的处理方案。各位可以去看看原答案，此处将我的代码放出
es 按数据动态路由至索引

//创建脚本
PUT _ingest/pipeline/fmtbfield
{
  "processors": [
    {
      "script": {
        "source": "ctx._index=ctx.b==0?'indexa':'indexb'"
      }
    }
  ]
}

//创建主索引（这个索引没什么用，不会存数据，但是必须有）
PUT /index
{
  "settings": {
    "index.default_pipeline": "fmtbfield"
  },
  "mappings": {
      "properties": {
        "id": {
          "type": "long"
        }, 
        "myTime": {
          "type": "long"//这里使用date也行，能自由接收时间戳和yyyymmdd这种形式的时间
        },
        "b": {
          "type": "text"
        }
      }
  }
}


//向index插入一条数据
PUT /index/_doc/1
{
  "id":1,
  "b":0
}

//由于脚本存在，实际插入的索引位置为indexa
GET /indexa/_search
{
  "query": {
    "match_all": {}
  }
}

插入时转换时间戳

这里转换为时间戳只是一个引子，假设你想加减乘除等等，对脚本而言都不在话下。

PUT _ingest/pipeline/fmtFieldToTime
{
  "processors": [
    {
      "script": {
        "lang": "painless",
        "source": """
        SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
        Date date = simpleDateFormat.parse(ctx.myTime);
        ctx.acctime = date.getTime();
      """
      }
    }
  ]
}

PUT /index_time
{
  "settings": {
   "final_pipeline" : "fmtFieldToTime"
  },
  "mappings": {
      "properties": {
        "id": {
          "type": "long"
        }, 
        "myTime": {
          "type": "long"//这里使用date也行，能自由接收时间戳和yyyymmdd这种形式的时间
        },
        "b": {
          "type": "text"
        }
      }
  }
}

PUT /index_time/_doc/1
{
  "id":1,
  "myTime":"2021-09-28 10:52:41"
}
查询时时间已经被转化成时间戳了