ElasticSearch数组对象，以及Kibana相关操作

ES数组对象，以及Kibana相关操作

好久未写过博客，一晃就年底。

前两天需求是在Kibana里生成曲线，关键是数据类型是数组对象。稍微走了写歪路，下面从数据类型开始说起。

数据

• mapping:

  data: {
      properties: {
          data_value: {
              type: "long"
          },
          index: {
              type: "long"
          },
      }
  }

• 示例

  //example1: 
  {data: [{index: 0, data_value: 200}, {index: 1, data_value: 300}]}
  
  //example2: 
  {data: [{index: 0, data_value: 200}]}

  即data为数组对象，每次含有的index的有可能是多个，有可能是1个。

• 数组对象在es中的存储

  //example1: 
  { 
    data: {
       index: [0, 1],
       data_value: [200, 300],
    }
  }

  在ElasticSearch中对数组对象的访问可通过data.index，data.data_value的形式进行。示例中example1的存储如上所示，0和200，1和300之间的关系其实就不再存在了。

  当时我的需求是，需要对index进行分桶，针对每个index，求出metric。如在index=0的桶里，求data.data_value的max,桶里边只有example1和example2的数据，理想中的max应该是200,但求出来发现是300…问题就在存储上，data.data_value在存储上其实是[200, 300],与index=0还是1一点关系都没有..

  如果非要实现对index=0下求data_value的max呢?

Scripted Fields

当时需求是在Kibana上实现，故以下皆以Kibana作例，若是单纯的写ES的查询或聚合语句，可直接参考script内容。

How to create Kibana Script Fields

在ES中支持查询返回一个script value,即在查询时就进行相应的script计算。elasticsearch script fields starting.

既然是script，自然就灵活很多，可以通过添加新的字段，将上面的数组对象中的值转换为key-value格式的，那么在聚合统计操作中选择对应的key即可。

具体操作为，在Kibana中选择Management中的Index Patterns,选中对应index,选择Scripted field，新建一个(Add Scripted Field)。Name填入如data_index_0,Language选择painless,Type选择为number。script内容为

if(params['_source']['data'] != null) {
    for(def item : params['_source']['data']) {
       if(item.index == 0)
         return item.data_value;
    }
 }
 return null;

最后选择创建字段即可，在Discover页面中即可看到每条数据中都增加了data_index_0,其值为index=0时对应的data_value。这样就将对象数组中的数据搬出来以key-value的方式存在了。另外，官方在介绍Scripted Fields时说明尽量不要使用_source字段，会使搜索变慢，以后在使用的过程中最好还是使用doc。如获得data.index的方式为doc[‘data.index’].values,返回值为List。