（6）基于 Elasticsearch 的实践——建立一个员工目录

最新推荐文章于 2022-06-20 12:41:31 发布

feiyy404

最新推荐文章于 2022-06-20 12:41:31 发布

阅读量477

点赞数 1

分类专栏： elasticsearch

elasticsearch 专栏收录该内容

12 篇文章 1 订阅

订阅专栏

人力资源部处于某种目的需要让我们创建一个员工目录，这个目录用于促进人文关怀和用于实时协同工作，所有它有以下不同的需求：

数据能够包含多个值的标签、数字和纯文本
检索任何员工的所有信息
支持结构化搜索，例如查找 30 岁以上的员工
支持简答的全文搜索和更负责的短语（phrase）搜索
高亮搜索结果中的关键字
能够利用图表管理分析这些数据

索引员工文档

我们首先要做的是存储员工数据，每个文档代表一个员工。在 es 中存储数据的行为就叫做索引（indexing）。不过在存储数据之前，我们需要明确数据应该存储在哪里

在 es 中，文档归属于某一种类型（type），而这些类型存在于索引（index）中。我们可以通过一些简单的对比图来类比传统的关系型数据库：

Relational DB -> Database -> Tables -> Rows      -> Columns
es            -> Indices  -> Types  -> Documents -> Fields

es 集群可以包含多个索引（indices）(数据库），每一个索引可以包含多个类型（types）（表），每一个类型包含多个文档（documents）（行），然后每个文档包含多个字段（Fields）（列）。

“索引”含义的区分

索引（index）这个词在 es 中有着不同的含义，所以有必要在此做一下区分。
- 索引（名词）如上文所述，一个index就是传统的关系型数据库中的数据库，是相关文档存储的地方， index 的复数是 indices 或者是 indexes。
- 索引（动词）“索引一个文档” 表示把一个文档存储到索引（名词）里，以便它可以被检索和查询。这很像SQL中的 INSERT 关键字，差别是，如果文档已经存在，新的文档将覆盖旧的文档。
- 倒排索引传统的数据库为特定列增加一个索引，例如说 B-Tree 索引来加速索引。es 和 Lucene 使用一种叫做倒排索引（inverted index）的数据结构来达到相同目的。

默认情况下，文档中的所有字段都会被索引（拥有一个倒排索引），只有这样他们才是可以被搜索的。

建立员工目录的操作

为每个员工的文档（document）建立索引，每个文档包含了响应员工的所有信息。
每个文档的类型为 employee
employee 类型归属于索引 megacorp
megacorp 索引存储在 es 集群中

尽管看起来有很多步骤，我们可以通过一个命令执行完成：

curl -X PUT 'http://localhost:9200/megacorp/employee/1' -d '
{
    "first_name":"John",
    "last_name":"Smith",
    "age":25,
    "about":"I love to go rock climbing",
    "interests":["sports","music"]
}'

返回结果：

    {"_index":"megacorp","_type":"employee","_id":"1","_version":1,"result":"created","_shards":{"total":2,"successful":1,"failed":0},"created":true}

我们看到path:/megacorp/employee/1 包含三部分信息：

名字	说明
megacorp	索引名
employee	类型名
1	这个员工的id

在请求实体中包含了这个员工的所有信息，他的名字叫做 “John Smith”, 25岁，喜欢攀岩。

我们不需要去做额外的操作，比如说去创建索引或者是定义每个字段的数据类型。我们能够直接索引文档， es 已经内置所有的缺省设置，所有管理操作都是透明的。

解下来，让我们在目录中加入更多的员工信息：

curl -X PUT 'http://localhost:9200/megacorp/employee/2' -d '
{
    "first_name":"Jane",
    "last_name":"Smith",
    "age":32,
    "about":"I love to collect rock albums",
    "interests":["music"]
}'

curl -X PUT 'http://localhost:9200/megacorp/employee/3' -d '
{
    "first_name":"Douglas",
    "last_name":"Fir",
    "age":35,
    "about":"I love to built cabinets",
    "interests":["forestry"]
}'

检索文档

现在在 es 里面已经存储了一些数据了，我们可以根据业务需求来开始工作了。第一个需求是能够检索单个员工的信息。

我们只要执行 HTTP GET 请求，并且支出文档的“地址” – 索引、类型和 ID 即可。根据这三部分信息，我们就可以返回原始的 JSON 文档：

curl -X GET 'http://localhost:9200/megacorp/employee/1'

响应的内容中包含一些文档的元信息， John Smith的原始JSON文档包含在_source 字段中。

{
"_index": "megacorp",
"_type": "employee",
"_id": "1",
"_version": 1,
"found": true,
"_source": {
"first_name": "John",
"last_name": "Smith",
"age": 25,
"about": "I love to go rock climbing",
"interests": [
"sports",
"music"
]
}
}

我们可以通过 HTTP 方法 GET 来检索文档，同样的，我们可以使用 DELETE 方法删除文档，使用 HEAD 方法检查某文档是否存在。如果想更新已经存在的文档，我们只需要再 PUT 一次。

简单搜索

首先尝试一个最简单的搜索所有员工的请求：

curl -X GET 'http://localhost:9200/megacorp/employee/_search'

我们依然使用 megacorp 索引和 employee 类型，但是我们在结尾使用关键字 _search 来取代原来的文档ID。响应内容的 hits 数组中包含了我们所有的三个文档。默认情况下搜索会返回前 10 个结果。

响应不仅仅会告诉我们哪些文档被匹配到，而且这些文档内容完整地被包含在其中–我们在给用户做展示搜索结果时用到的所有信息都有了。

轻量级的搜索方法

接下来，让我们搜索姓氏中包含“Smith”的员工。要做到这一点，我们将在命令中使用轻量级的搜索方法，这种方法常被称作查询字符串（query string）搜索，因为我们像传递 URL 参数一样去传递查询语句：

 curl -X GET 'http://localhost:9200/megacorp/employee/_search?q=last_name:Smith'

使用 DSL 语句查询

查询字符串搜索便于通过命令行完成特定（ad hoc）的搜索，但是它也有局限性。es提供丰富而且灵活的查询语言叫做DSL（Query DSL），它允许你构建更加复杂、强大的查询。

DSL（Domain Special Language特定领域语言）以JSON请求体的形式出现。我们可以这样表示之前关于 “Smith” 的查询：

curl -X GET 'http://localhost:9200/megacorp/employee/_search' -d '
{
    "query":{
        "match":{
            "last_name":"Smith"
        }
    }
}'

这样会返回和之前查询相同的结果。你可以看到有些东西改变了，我们不再使用查询字符串（query string）作为参数，而是使用请求体来代替。这个请求体使用JSON表示。其中使用了 match 语句。

更复杂的查询

我们让查询稍微变得再复杂一点，我们依然是想要找到姓氏为”Smith”的员工，但是现在我们只是想要得到年龄大于 30 岁的员工。我们的语句将添加过滤器（filter），它使我们高效率的执行一个结构化的搜索：

curl -X GET 'http://localhost:9200/megacorp/employee/_search' -d '
{
    "query":{
        "filtered":{
            "filter":{
                "range":{
                    "age":{"gt":30}
                }
            },
            "query":{
                "match":{
                    "last_name":"Smith"
                }
            }
        }
    }
}'

这样的写法如果报错，可能是版本不匹配的问题。
改写：

curl -X GET "192.168.0.202:9200/_search?pretty" -H 'Content-Type: application/json' -d'
{
    "query": {
        "bool": {
        "must":     { "match": { "last_name": "Smith" }},
        "filter":   { "range": { "age" : { "gt" : 30 }} }
        }
    }
}
'

响应结果：
{
“took” : 13,
“timed_out” : false,
“_shards” : {
“total” : 62,
“successful” : 62,
“skipped” : 0,
“failed” : 0
},
“hits” : {
“total” : 1,
“max_score” : 0.2876821,
“hits” : [
{
“_index” : “megacorp”,
“_type” : “employee”,
“_id” : “2”,
“_score” : 0.2876821,
“_source” : {
“first_name” : “Jane”,
“last_name” : “Smith”,
“age” : 32,
“about” : “I like to collect rock albums”,
“interests” : [
“music”
]
}
}
]
}
}

全文搜索

到目前的功能都很简答：搜索特定的名字，通过年龄筛选。让我们尝试一种更高级的功能——一种传统数据库很难实现的功能。

我们将会搜索所有喜欢”rock climbing”的员工：

curl -X GET "192.168.0.202:9200/_search?pretty" -H 'Content-Type: application/json' -d'
{
    "query": {
        "match":{
            "about": "rock climbing"
        }
    }
}
'

我们使用了之前的 match 查询，从 about 字段中搜索 “rock climbing”,我们得到了两个匹配文档：

{
  "took" : 3,
  "timed_out" : false,
  "_shards" : {
    "total" : 62,
    "successful" : 62,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 0.5753642,
    "hits" : [
      {
        "_index" : "megacorp",
        "_type" : "employee",
        "_id" : "1",
        "_score" : 0.5753642,
        "_source" : {
          "first_name" : "John",
          "last_name" : "Smith",
          "age" : 25,
          "about" : "I love to go rock climbing",
          "interests" : [
            "sports",
            "music"
          ]
        }
      },
      {
        "_index" : "megacorp",
        "_type" : "employee",
        "_id" : "2",
        "_score" : 0.2876821,
        "_source" : {
          "first_name" : "Jane",
          "last_name" : "Smith",
          "age" : 32,
          "about" : "I like to collect rock albums",
          "interests" : [
            "music"
          ]
        }
      }
    ]
  }
}

默认情况下， es 根据结果相关性评分来对结果集进行排序，所谓的‘结果相关性评分’就是文档与查询条件的匹配程序。

很显然，排名第一的 John Smith 的 about 字段明确写到 “rock climbing”

但是为什么 Jane Smith 也会出现在结果里面呢？原因是”rock” 在她的about 字段里面被提及了。因为只有”rock”被提及而”climbing”没有，所以她的 _score 要低于John。

这个例子很好解释了 es 如何在各种文本字段中进行全文搜索，并且返回相关性最大的结果集。相关性（relevance）的概念在 es 中非常重要，而这个概念在传统的关系型数据库中是不可想象的，因为传统的数据库对记录的查询只有匹配或者是不匹配。

短语搜索

目前我们可以在字段中搜索单独的一个词，但是有时候我们想要确切匹配若干个单词或者是短语（phrases）。

比如我们想要查询同时包含”rock” 和 “climbing”(并且是相邻的）的员工记录。

要做到这个，我们只要将 match 查询变为 match_phrase 查询即可

curl -X GET "192.168.0.202:9200/_search?pretty" -H 'Content-Type: application/json' -d'
{
    "query": {
        "match_phrase":{
            "about": "rock climbing"
        }
    }
}
'

毫无疑问，该查询将会返回 John Smith 的文档：

{
  "took" : 3,
  "timed_out" : false,
  "_shards" : {
    "total" : 62,
    "successful" : 62,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 0.5753642,
    "hits" : [
      {
        "_index" : "megacorp",
        "_type" : "employee",
        "_id" : "1",
        "_score" : 0.5753642,
        "_source" : {
          "first_name" : "John",
          "last_name" : "Smith",
          "age" : 25,
          "about" : "I love to go rock climbing",
          "interests" : [
            "sports",
            "music"
          ]
        }
      }
    ]
  }
}

高亮我们的文本

很多应用喜欢从每个搜索结果中高亮（highlight）匹配到的关键字，这样用户可以知道为什么这些文档和查询是匹配的。在 es 中高亮片段是非常容易的。

让我们在之前的语句上增加 highlight 参数：

curl -X GET "192.168.0.202:9200/_search?pretty" -H 'Content-Type: application/json' -d'
{
    "query": {
        "match_phrase":{
            "about": "rock climbing"
        }
    },
    "highlight":{
        "fields":{
            "about":{}
        }
    }
}
'

当我们运行了这个语句之后，会命中和之前一样的结果，但是在返回的结果中会有一个新的部分叫做 highlight ,这里包含了来自 about 字段中的文本，并且用来标识匹配到的单词。

{
  "took" : 103,
  "timed_out" : false,
  "_shards" : {
    "total" : 62,
    "successful" : 62,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 0.5753642,
    "hits" : [
      {
        "_index" : "megacorp",
        "_type" : "employee",
        "_id" : "1",
        "_score" : 0.5753642,
        "_source" : {
          "first_name" : "John",
          "last_name" : "Smith",
          "age" : 25,
          "about" : "I love to go rock climbing",
          "interests" : [
            "sports",
            "music"
          ]
        },
        "highlight" : {
          "about" : [
            "I love to go <em>rock</em> <em>climbing</em>"
          ]
        }
      }
    ]
  }
}

分析

最后，我们还有一个需求需要去完成：允许管理者在职员目录中进行一些分析。 es有一个功能叫做聚合（aggregations），它允许你在数据上生成复杂的分析统计。很想sql中的group by，但是功能更加强大。

比如，我们想要找到所有职员中最大的共同点（兴趣爱好）是什么：

curl -X GET "192.168.0.202:9200/_search?pretty" -H 'Content-Type: application/json' -d'
{
    "aggs": {
        "all_interests":{
            "terms": {"field":"interests"}
        }
    }
}
'

部分查询结果：

"aggregations" : {
    "all_interests" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "music",
          "doc_count" : 2
        },
        {
          "key" : "forestry",
          "doc_count" : 1
        },
        {
          "key" : "sports",
          "doc_count" : 1
        }
      ]
    }
  }

我们可以看到2个职员对音乐有兴趣，一个喜欢林学，一个喜欢运动，这些数据并没有被预先计算好，它们是实时从匹配查询语句的文档里面动态计算生成的。如果我们想要知道所有姓“Smith” 的人最大的共同点（兴趣爱好），我们只需要增加合适的语句即可：

curl -X GET "192.168.0.202:9200/_search?pretty" -H 'Content-Type: application/json' -d'
{
    "query":{
        "match":{
            "last_name":"Smith"
        }
    },
    "aggs": {
        "all_interests":{
            "terms": {"field":"interests"}
        }
    }
}
'

all_interests 聚合已经变成只包含和查询语句相匹配的文档了：
（部分查询结果：）

"aggregations" : {
    "all_interests" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "music",
          "doc_count" : 2
        },
        {
          "key" : "sports",
          "doc_count" : 1
        }
      ]
    }
  }

聚合页允许分级汇总，例如，让我们统计每种兴趣下职员的平均年龄：

curl -X GET "192.168.0.202:9200/_search?pretty" -H 'Content-Type: application/json' -d'
{
    "aggs": {
        "all_interests":{
            "terms": {"field":"interests"},
            "aggs":{
                "avg_age":{
                    "avg":{"field":"age"}
                }
            }
        }
    }
}
'

部分返回结果：

"aggregations" : {
    "all_interests" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "music",
          "doc_count" : 2,
          "avg_age" : {
            "value" : 28.5
          }
        },
        {
          "key" : "forestry",
          "doc_count" : 1,
          "avg_age" : {
            "value" : 35.0
          }
        },
        {
          "key" : "sports",
          "doc_count" : 1,
          "avg_age" : {
            "value" : 25.0
          }
        }
      ]
    }
  }

这个聚合结果与之前相比更加丰富，我们依然得到了兴趣以及数量（指具有该兴趣的员工人数）的列表，但是现在每个兴趣额外拥有 avg_age 字段来显示具有该兴趣员工的平均年龄。

feiyy404

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
（6）基于 Elasticsearch 的实践——建立一个员工目录

人力资源部处于某种目的需要让我们创建一个员工目录，这个目录用于促进人文关怀和用于实时协同工作，所有它有以下不同的需求：数据能够包含多个值的标签、数字和纯文本检索任何员工的所有信息支持结构化搜索，例如查找 30 岁以上的员工支持简答的全文搜索和更负责的短语（phrase）搜索高亮搜索结果中的关键字能够利用图表管理分析这些数据索引员工文档我们首先要做的是存储员工数据，每个文档...
复制链接

扫一扫