ElasticSearch笔记-索引与查询

写在前面：上一篇博客介绍了ES的基础知识Elasticsearch笔记-基础知识,本篇我们介绍ES怎样创建、更新以及检索文档。为便于大家理解，我们采用与关系型数据库对比的方式。

准备工作

在我们进行索引及检索数据之前，先存一些数据到ES中。ES可以当做无模式的数据库使用，可以不必先定义数据模式，但我们为演示方便，先定义其内部的格式。

{
    "mappings": {
        "article": {
            "properties": {
                "id": {
                    "type": "long",
                    "store": "yes" },
                "name": {
                    "type": "string",
                    "store": "yes" },
                "author": {
                    "type": "string",
                    "store": "yes" },
                "date": {
                    "type": "date",
                    "store": "yes" },
                "contents": {
                    "type": "string",
                    "store": "no" }
            }
        }
    }
}

以上结构指定了一个article结构的类型，将其存储为json文件并用以下命令创建索引。

curl -XPUT ‘localhost:9200/posts?’ -d @posts.json

这样我们就有了名为posts的索引，它下面有一个article的类型。

提示：图中集群健康值为yellow,还有一个未分配的（Unassigned）的一行，这其实是现在我们集群中只有一个节点，而默认一个索引5个分片，1个副本。这总共10个分片至少分在2个节点中才有意义，而现在主分片全分在一个节点上，副本就没有启用。yellow状态就告诉我们：所有主分片可用，而副本不可用。还提示说本来应有10个分片（包括主分片和副本），现在只有5个。不过，这并不影响运行。

关于映射文件这里就不多说了，总之相等于关系型数据库中的建库建表，定义表结构。

简单增删查改

对应关系型数据库的 create、delete、select、update，ES也有相对的命令对应，即PUT、DELETE、GET、POST。

新建文档（PUT）

文档数据为：

{
    "id":1,
    "name":"Ealsticesarch笔记",
    "author":"wthfeng",
    "date":"2016-10-25",
    "contents":"这是我的ES学习笔记"
}

发送索引请求：

curl -XPUT localhost:9200/posts/article/1 -d @article.json

返回结果：

{
    "_index": "posts",
    "_type": "article",
    "_id": "1",
    "_version": 1,
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "created": true
}

提示我们成功创建了_index为posts，_type为article，_id为1的文档。

检索文档（GET）

1. 主键检索

简单的检索文档是根据文档的_id(唯一标识)进行查询，发送如下请求查询主键为1，类型为article的文档：

curl ‘localhost:9200/posts/article/1?pretty’

返回

{
  "_index" : "posts",
  "_type" : "article",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "id" : 1,
    "name" : "Ealsticesarch笔记",
    "author" : "wthfeng",
    "date" : "2016-10-25",
    "contents" : "这是我的ES学习笔记"
  }
}

较为复杂的查询需使用DSL（特定领域查询语言），在请求中包括_search 以表示是一次查询。

查询之前我们再插入几条数据，现在article有5篇文档。（只保留数据部分）

{

  "hits": {
    "total": 5,
    "max_score": 1,
    "hits": [
      {
        "_source": {
          "id": 5,
          "name": "生活日志",
          "author": "wthfeng",
          "date": "2015-09-21",
          "contents": "这是日常生活的记录"
        }
      },
      {
        "_source": {
          "id": 2,
          "name": "javascript笔记",
          "author": "wthfeng",
          "date": "2016-10-23",
          "contents": "这是我的javascript学习笔记"
        }
      },
      {
        "_source": {
          "id": 4,
          "name": "javascript指南",
          "author": "wthfeng",
          "date": "2016-09-21",
          "contents": "js的权威指南"
        }
      },
      {
        "_source": {
          "id": 1,
          "name": "Ealsticesarch笔记",
          "author": "wthfeng",
          "date": "2016-10-25",
          "contents": "这是我的ES学习笔记"
        }
      },
      {
        "_source": {
          "id": 3,
          "name": "java笔记",
          "author": "wthfeng",
          "date": "2016-10-23",
          "contents": "这是我的java学习笔记"
        }
      }
    ]
  }
}

2. 精确查询（term）

现在我们检索日期为10月23号的文章，发送查询：

curl localhost:9200/posts/article/_search -d @search.json

search.json文件如下，（后面同此处理）

{
    "query": {
        "term": {
            "date": "2016-10-23"
        }
    }
}

结果：（只保留数据部分）

{
    "hits": [{
        "_source": {
            "id": 2,
            "name": "javascript笔记",
            "author": "wthfeng",
            "date": "2016-10-23",
            "contents": "这是我的javascript学习笔记"
        }
    }, {
        "_source": {
            "id": 3,
            "name": "java笔记",
            "author": "wthfeng",
            "date": "2016-10-23",
            "contents": "这是我的java学习笔记"
        }
    }]
}

term是一种简单的词条查询，它不会分析所查询的词，只是简单返回完全匹配的结果，也就是说如果想查询文章内容带有“笔记”词的文档，相等于SQL中“=”：

select * from article where date = '2016-10-23'

3. 简单模糊查询（match）

match将查询的词以某种分析器（可自己指定）分析，然后构建相应查询。总之重要的是，经match查询的词条是经过分析的,这一点至关重要。
让我们来查文章内容中包含“笔记”内容的文章。

curl localhost:9200/posts/article/_search -d @search.json

{
    "query": {
        "match": {
            "contents": "笔记"
        }
    }
}

返回结果（只保留数据）

{
    "hits": [{
        "_index": "posts",
        "_type": "article",
        "_id": "2",
        "_score": 0.44194174,
        "_source": {
            "id": 2,
            "name": "javascript笔记",
            "author": "wthfeng",
            "date": "2016-10-23",
            "contents": "这是我的javascript学习笔记"
        }
    }, {
        "_index": "posts",
        "_type": "article",
        "_id": "1",
        "_score": 0.13561106,
        "_source": {
            "id": 1,
            "name": "Ealsticesarch笔记",
            "author": "wthfeng",
            "date": "2016-10-25",
            "contents": "这是我的ES学习笔记"
        }
    }, {
        "_index": "posts",
        "_type": "article",
        "_id": "3",
        "_score": 0.13561106,
        "_source": {
            "id": 3,
            "name": "java笔记",
            "author": "wthfeng",
            "date": "2016-10-23",
            "contents": "这是我的java学习笔记"
        }
    }, {
        "_index": "posts",
        "_type": "article",
        "_id": "5",
        "_score": 0.014065012,
        "_source": {
            "id": 5,
            "name": "生活日志",
            "author": "wthfeng",
            "date": "2015-09-21",
            "contents": "这是日常生活的记录"
        }
    }]

}

这样就可以模糊查询数据了，不过有个问题是，我查询关键词是“笔记”，为何id为5的文章会出现？因为它有一个“记”字。ES的词条分析查询其实不完全等同于SQL中的模糊查询。ES的查询有相关性，用查询得分（_score）表示。相关性高的排在前面，低的排在后面，id为5的文章只有一个字匹配，所以排在最后。具体查询相关知识下篇讲解，现在我们知道个大概即可。

match查询有几个参数控制匹配行为，如operator，接受值or和and表示。指示关键词是以或的形式连接还是和的形式。如上例，我们想要完全匹配“笔记”的查询结果，需要这样：

{
  "query": {
    "match": {
      "contents": {
        "query":"笔记",
        "operator":"and"
      }
    }
  }
}

如此即可查询包含“笔记”的文章。它的效果类似于

select * from article where contents like '%笔记%' 

查询数量（search_type=count）

用于查询符合结果的文档数而不是文档内容。需使用search_type指定为count。

curl ‘localhost:9200/posts/article/_search?pretty&search_type=count’ -d @search.json

{
    "query":{
        "match":{
            "name":"笔记"
        }
    }   
}

结果为：

{
  "took" : 4,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.0,
    "hits" : [ ]
  }
}

total 字段为3，表明查询结果为3。

更新文档（POST）

ES中的更新总是这样：先删除旧文档，再插入新文档。因为文档一旦在倒排索引中存储，就不能被更改。无论是局部更新还是完全替换，都必须走先删除后插入的流程。（ES内部是这样，不过你不用关注这个过程）。

全部更新

全部更新文档相当于重新添加一份文档，指定需更新文档的id即可。

curl -PUT localhost:9200/posts/article/1 -d @article.json

{
    "id": 1,
    "name": "ES更新过的文档",
    "author": "wthfeng",
    "date": "2016-10-25",
    "contents": "这是更新内容"
}

返回结果：

{
    "_index": "posts",
    "_type": "article",
    "_id": "1",
    "_version": 2,
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "created": false
}

此文章版本号（version）加1，是否创建（created）标识为false，说明是更新而不是新建，因为ES中_id唯一，指定相同的_id 会覆盖前面的文档，版本号加1。

全部更新转为SQL的语法即更新所有字段

update article set name = 'ES更新过的文档' , 
author = 'wthfeng',date='2016-10-25', contents='这是更新内容' where id=1

局部更新（_update）

局部更新需使用_update字段，在请求体包含doc局部文档参数。

id为2的文档更新前：

{
    "id": 2,
    "name": "javascript笔记",
    "author": "wthfeng",
    "date": "2016-10-23",
    "contents": "这是我的javascript学习笔记"
}

发送更新请求：

curl -XPOST localhost:9200/posts/article/2/_update -d @article.json

{
    "doc":{
        "name":"更新后的文档",
         "brief":"简介，这是新加的字段"
    }
}

再次查询

{
    "id": 2,
    "name": "更新后的文档",
    "author": "wthfeng",
    "date": "2016-10-23",
    "contents": "这是我的javascript学习笔记",
    "brief": "简介，这是新加的字段"
 }

可见局部更新不仅可以修改原始字段值，还可以添加新字段。

将其转为SQL形式需有2步操作，更新name,和添加一个字段

update article set name = '更新后的文档' where id =2;
alter table article add brief varchar(20) ;
update grade set brief = '简介，这是新加的字段' where  id =1;

删除文档（DELETE）

删除文档较为简单，指定_id删除即可。

curl -XDELETE localhost:9200/posts/article/3

响应为

{
    "found": true,
    "_index": "posts",
    "_type": "article",
    "_id": "3",
    "_version": 2,
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    }
 }

表示成功找到文档并删除，删除操作也会使文档版本号加1。再次查询

{
    "_index": "posts",
    "_type": "article",
    "_id": "3",
    "found": false
}

没有找到，表明已删除。类似SQL表示为

 delete from article where id=3

注意SQL中的id对应ES中的_id,_id才是ES中的主键，而我们自定义的id这是一个普通字段而已。