elasticsearch 索引 Warmer 管理

原创 2015年11月21日 16:00:31

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-warmers.html#removing
为什么要使用Warmer呢,这要看自己的数据和查询等条件,但是基本上都是有用的。在es启动时并不会加载任何数据,在查询前。因此,在查询前把需要的数据预加载到缓存中和启动I/O缓存(通过读硬盘上的segment数据),通过这种方式,所有的需要的信息都已经放置在缓存中,就能保证我们的查询获得了优化和所有需要的数据都已经准备好了。最后,通过一个实例简单说明使用warmer在初始查询时与普通方式查询的差距(参考 Mastering Elasticsearch for java 书籍的197页)。
使用warmer允许我们对索引注册一些我们常用的查询或者统计请求在查询时间进行预热(缓存),随着查询实时性的高要求,冷数据(segments)可以查询之前预热起来。特别是一些针对某些字段的负载比较大的统计或者排序,通过warmer API可以创建、删除和获取warmer信息。
可以通过index.warmer.enabled设置为false来禁用该功能。禁用curl命令:

curl -XPUT 'localhost:9200/mastering/_settings' -d '{
  "index.warmer.enabled": false
}'

mastering为索引名
一、创建Warmer

/**
 * <pre>
 * 以上代码在创建时需要制定查询条件,
 * query还是filter,addFacet,addAggregation,
 * 等查询。制定warmer后,需要重启ES才能看到效果,
 * 查询条件需要与设置的warmer定义的一致才行。
 * @param indexName 索引名
 * @param indexType 索引类型
 * @return
 * </pre>
 */
public void createWarmer(String indexName, String indexType){
   //创建Warmer//Puts an index search warmer to be applies when applicable.
    PutWarmerResponse response = getClient().admin().indices()         
      //warmer定义名
      .preparePutWarmer("warmerName")
        .setSearchRequest(
                //可以指定针对的索引和类型,类型不指定,则针对所有的类型
                getClient().prepareSearch(indexName).setTypes(indexType)
                //按照tgsj字段分组统计
//.addAggregation(AggregationBuilders.terms("tgsj").field("tgsj"))
//.addSort("cteareTime", SortOrder.DESC)
                .setPostFilter(FilterBuilders.termFilter("conCity", "000060"))
//.addFacet(FacetBuilders.termsFacet("tags").field("tags"))
                 ).execute().actionGet();

    System.out.println("操作是否成功:"+response.isAcknowledged());
}

测试用例:

@Test//
    public void createWarmer() throws Exception {
        esutils.createWarmer("esfindex","esftype");
    }

添加命令:

curl -XPUT localhost:9200/test/type1/_warmer/warmer_1 -d '{
"query" : {
    "match_all" : {}
},
"aggs" : {
    "aggs_1" : {
        "terms" : {
            "field" : "field"
            }
        }
    }
}'

test为索引名,type1为索引类型,warmer_1为warmer名;
二、查询Warmer

Java API方式:
/**
 * 获取Warmer信息
 * @param indexName
 * @param indexType
 */
public void getWarmer(String indexName, String indexType){
    GetWarmersResponse response = getClient().admin().indices()        
     .prepareGetWarmers(indexName).addTypes(indexType).get();

    ImmutableOpenMap<String, ImmutableList<IndexWarmersMetaData.Entry>>  map = response.getWarmers();
    Iterator<ObjectObjectCursor<String, ImmutableList<IndexWarmersMetaData.Entry>>>  itor = map.iterator();
    while(itor.hasNext()){
        ObjectObjectCursor<String, ImmutableList<IndexWarmersMetaData.Entry>>  enCursor = itor.next();
        System.out.println(enCursor.key);//索引名
        ImmutableList<IndexWarmersMetaData.Entry> id = enCursor.value;
        Iterator<IndexWarmersMetaData.Entry> ir =  id.iterator();
        while(ir.hasNext()){
            IndexWarmersMetaData.Entry ieEntry = ir.next();
            System.out.println(ieEntry.name());//warmer名
            System.out.println(FastJSONHelper.serialize(ieEntry));
        }
    }
}

命令:curl -XGET localhost:9200/esfindex/_warmer/warmerName?pretty
esfindex为索引名,支持通配符,如
curl -XGET localhost:9200/test/_warmer/warm*;
命令获取结果:

三、删除Warmer

Curl命令:
curl -DELETE HTTP://localhost:9200/esfindex/_warmer/warmerName
esfindex为索引名,warmerName为warmer名

Java api

/**
 * 删除指定索引的warmer
 * @param indexName 索引名
 * @param warmerName warmer名
 */
public void deleteWarmer(String indexName, String warmerName){
    //删除Warmer
    DeleteWarmerResponse response = getClient().admin().indices()
      .prepareDeleteWarmer()
        //索引名
      .setIndices(indexName)
        //warmer名
        .setNames(warmerName)
      .execute().actionGet();

    System.out.println("操作是否成功:"+response.isAcknowledged());
}

测试用例:

 @Test//
    public void deleteWarmer() throws Exception {
        esutils.deleteWarmer("esfindex","warmerName");
}
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

推荐关于ElasticSearch的好文

在项目中使用ElasticSearch作为后台服务端的搜索引擎已经快一年,从年初的1.1.1版本到1.2.2,再到最新的1.4.1,Elasticsearch是在一步步的快速迭代进步,而跟随它的进步,...

ElasticSearch学习笔记-JavaAPI操作记录

ElasticSearch版本:2.3.x 客户端连接代码: private void initClient() { Settings settings = Settings.builder()....

ES的一些优化经验

亿级规模的ES查询优化实战 能用filter就不用query filter拿到相应的doc后不计算score不用排序 query会对符合条件的doc计算score并进行排序 filter的查询速...
  • xtjsxtj
  • xtjsxtj
  • 2016年04月25日 13:26
  • 2844

【linux学习笔记】swap虚拟内存添加与删除配置

1.swap概述      Swap分区,即交换区,Swap空间的作用可简单描述为:当系统的物理内存不够用的时候,就需要将物理内存中的一部分空间释放出来,以供当前运行的程序使用。那些被释放的空间...

ElasticSearch:从[FIELDDATA]Data too large错误看FieldData配置

转载:http://blog.csdn.net/hereiskxm/article/details/46744985 产生Data too large异常ES缓存区概...

Elasticsearch中的document数据格式,简单的集群管理,商品的索引的CRUD操作(学习资料记录)

1、Document数据格式面向文档的搜索分析引擎 (1)应用系统的数据结构都是面向对象的,复杂的。 (2)对象数据存储到数据库中,只能拆解开来,变为扁平的多张表,每次查询的时候还得还原回对象格式...

[Elasticsearch] 索引管理 (三) - 根对象(Root Object)

根对象(Root Object) 映射的最顶层被称为根对象。它包含了: 属性区域(Properties Section),列举了文档中包含的每个字段的映射信息。各种元数据(Metadata)字段,...

ElasticSearch初步学习,管理索引(入门二)

前一篇说了,怎么通过java客户端来创建索引,下面就记录下怎么来管理索引,包括mapping和删除等,(使用的版本是2.1.0) 官方api 官方api https://www.elastic.co/...

[ElasticSearch2.x]Java API 之 索引管理

ElasticSearch为了便于处理索引管理(Indices administration)请求,提供了 org.elasticsearch.client.IndicesAdminClient接口...

ElasticSearch(十)-索引管理

1.创建删除 创建: put /myidnex { “setting”:{}, “mapping”:{} } 防止自动创建:可以在elasticsearch.yml中添加action.anto...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:elasticsearch 索引 Warmer 管理
举报原因:
原因补充:

(最多只允许输入30个字)