学习Elasticsearch

Elasticsearch简介

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式的全文搜索引擎，其对外服务是基于RESTful web接口发布的。

Elasticsearch是用Java开发的应用，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到近实时搜索，稳定，可靠，快速，安装使用方便。

功能：

• 搜索，海量数据的搜索
• 数据分析，配合Logstash使用

常用常见：全文检索，高亮显示，搜索推荐

Elasticsearch概念

cluster(集群)

Elasticsearch集群由一个或多个节点组成，其中有一个主节点，这节点可以是通过选举产生的，主节点是对集群内部来说的。

Elasticearch是去中心化，字面上理解就是无中心节点，这是对于集群外部来看。

Elasticsearch集群，在逻辑上是个整体，但在集群中每个节点都可以对外服务。

Index(索引)

它是不同类型的文档和文档属性的集合

索引还使用分片的概念来提高性能。 例如，一组文档包含社交网络应用的数据。

shards(碎片)

​ 索引的主分片，索引被水平细分为碎片。这意味着每个碎片包含文档的所有属性，但包含的数量比索引少。水平分隔使碎片成为一个独立的节点，可以存储在任何节点中。主碎片是索引的原始水平部分，然后这些主碎片被复制到副本碎片中。

把一个大的索引拆分成多个分片，分布存储在不同的Elasticsearch节点上，从而形成分布式存储，并为搜索访问提供分布式服务，提高并发处理能

replicas(副本)

索引主分片的副本，提高系统的容错性，提高Elasticsearch的查询效率，shard损坏或丢失时可以从副本中恢复

Elasticsearch可以设置多个副本，Elasticsearch会自动对搜索请求进行负载均衡，将并发的搜索请求发送给合适的节点，增强并发处理能力

Document(文档)

Elasticsearch中的最小数据单元。一个Document就是一条数据，一般使用JSON数据结构表示

每个Index下的Type中都可以存储多个Document。一个Document中可定义多个field，field就是数据字段

Type(类型)

每个索引中都必须有唯一的一个Type，Type是Index中的一个逻辑分类。Elasticsearch中的数据Document是存储在索引下的Type中的。

Elasticsearch原理

反向索引(倒排索引)：是正向索引的逆向。建立词组和文档的映射关系。通过找到词组就能找到文档内容。（和新华字典找字很像）

对数据进行分析，抽取出数据中的词条，以词条作为key，对应数据的存储位置作为value，实现索引的存储。这种索引称为倒排索引。倒排索引是Document写入Elasticsearch

Elasticsearch配合Kibana操作操作命令

查看健康状态

• Epoch（编号）
• timestamp（时间戳）
• cluster（集群名称）
• status（健康状态） :green、yellow、red
  • green：每个索引的primary shard和replica shard都是active的
  • yellow：每个索引的primary shard都是active的，但部分的replica shard不是active的
  • red：不是所有的索引的primary shard都是active状态的
• node.total（节点总数）
• node.data（数据节点数）
• shards（分片数）
• Pri（主分片数量）
• relo（备份节点）
• init（正在初始化的）
• unassign（未分配的）
• pending_tasks（正在等待执行的任务）
• max_task_wait_time（挂起任务的等待时间）
• active_shards_percent（活动的分片的占有百分比）

GET _cat/health?v 

查看所有索引

GET _cat/indices

GET _cat/indices?v

查看所有分片

GET _cat/shards

GET _cat/shards?v

创建索引

命令：PUT 索引名{索引配置参数}

• number_of_shards:主分片数量
• number_of_relicas:每个主分片的副本分片数量。

创建索引

PUT my_first_index

创建索引时指定分片

PUT my_first_index2
{
   "settings": {
     "number_of_shards": 1,
     "number_of_replicas": 1
   }
}

修改索引

命令语法：PUT 索引名/_settings{索引配置参数}

注意：索引一旦创建，primary shard数量不可变化，可以改变replica shard数量。

PUT my_first_index2/_settings
{
  "number_of_replicas" : 2
}

删除索引

DELETE /my_first_index2

查询数据

GET my_first_index/_doc/1

GET /item_index/_search

GET /test_log/_search

GET my_first_index/_mget
{
  "docs":[{
    "_id":1
  },
  {
    "_id":2
  }]
}

添加数据

POST my_first_index/_doc
{
    "name":"王五",
    "age":13
}

PUT my_first_index/_doc/4
{
  "name":"张三",
  "address":"beijing"
}

批量添加数据

POST test_search/_bulk
{ "index": {}}
{ "dname" : "Sales Department", "ename" : "张三", "eage":20, "hiredate" : "2019-01-01", "gender" : "男性" }
{ "index": {}}
{ "dname" : "Sales Department", "ename" : "李四", "eage":21, "hiredate" : "2019-02-01", "gender" : "男性" }
{ "index": {}}
{ "dname" : "Development Department", "ename" : "王五", "eage":23, "hiredate" : "2019-01-03", "gender" : "男性" }
{ "index": {}}
{ "dname" : "Development Department", "ename" : "赵六", "eage":26, "hiredate" : "2018-01-01", "gender" : "男性" }
{ "index": {}}
{ "dname" : "Development Department", "ename" : "韩梅梅", "eage":24, "hiredate" : "2019-03-01", "gender" : "女性" }
{ "index": {}}
{ "dname" : "Development Department", "ename" : "钱虹", "eage":29, "hiredate" : "2018-03-01", "gender" : "女性" }

修改数据

POST my_first_index/_update/4
{
  "doc":{"name":"赵六"}
}

分页查询

GET test_search/_search?size=2#siez

GET test_serrch/_search?from=0&size=2#from

排序

GET test_search/_search?sort=eage:asc
GET test_search/_search?sort=eage:desc

条件查询

GET test_search/_search?q=gender:"女性"
GET test_search/_search?q=+gender:"女性"
GET test_search/_search?q=-gender:"女性"

GET test_search/_search
{
   "query" : { "match_all" : {} }
}

GET test_search/_search
{
  "query":{
    "match":{
      "dname":"Sales"
    }
  }

高亮显示

GET test_search/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "dname": "Development department"
          }
        },
        {
          "match": {
            "gender": "男性"
          }
        }
      ]
    }
  },
  "highlight": {
    "fields": {
      "dname": {
        "fragment_size": 20,
        "number_of_fragments": 1
      },
      "gender": {
        "fragment_size": 20,
        "number_of_fragments": 1
      }
    },
    "pre_tags":["<span style='color:red'>"],
    "post_tags":["</span>"]
  }, 
  "from": 2,
  "size": 2
}