ElasticSearch检索你的数据(五）

ElasticSearch检索你的数据(五）

搜索多个索引

在额数据流上执行查询，可以在搜索请求API上增加以逗号分隔的索引名称。

以下是查询my-index-000001 和my-index-00000索引：

curl -X GET "localhost:9200/my-index-000001,my-index-000002/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}
'

您还可以使用索引模式搜索多个数据流和索引。

以下请求针对 my-index-* 索引模式。该请求搜索集群中以 my-index- 开头的任何数据流或索引。

curl -X GET "localhost:9200/my-index-*/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}
'

要搜索集群中的所有数据流和索引，请从请求路径中省略目标。或者，您可以使用 _all 或 *。

以下请求是等效的，搜索集群中的所有数据流和索引。

curl -X GET "localhost:9200/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}
'
curl -X GET "localhost:9200/_all/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}
'
curl -X GET "localhost:9200/*/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}
'

索引提升

当搜索多个索引的时候，你可以使用indices_boost参数来提升一个或者多个索引的结果。当来自某个索引的数据比较重要的时候，这很有用：

curl -X GET "localhost:9200/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "indices_boost": [
    { "my-index-000001": 1.4 },
    { "my-index-000002": 1.3 }
  ]
}
'

也可以使用别名和索引模式：

curl -X GET "localhost:9200/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "indices_boost": [
    { "my-alias":  1.4 },
    { "my-index*": 1.3 }
  ]
}
'

如果找到多个匹配项，将使用第一个匹配项。例如，如果一个索引包含在 alias1 中并且与 my-index* 模式匹配，则应用 1.4 的提升值。

搜索分片路由

为了防止硬件故障和增加索引的容量，ElasticSearch可以跨多个节点的多个分片存储索引数据的副本。ElasticSearch会选择一个包含索引副本的节点并且转发搜索请求到这个节点的分片。此过程成额外搜索分片路由。

自适应副本选择

默认情况下，ElasticSearch采用自适应副本选择来路由查询请求。此方法使用shard allocation awareness来选择一个符合条件的节点，并且根据以下标准：

• 协调节点和合格节点之间先前请求的响应时间
• 符合条件的节点运行之前的搜索花费了多长时间
• 符合条件的节点的搜索线程池的队列大小

设置偏好

默认情况下，自适应副本选择会从所有符合条件的节点和分片来选择。然而你可能只想要本地的数据或者根据硬件来路由请求到指定的节点。或者你可能希望利用将重复的搜索发送到同一个分片。

为了限制符合搜索请求条件的节点和分片集，请使用搜索API的preference查询参数。

以下示例中使用_local的preference搜索 my-index-000001。这限制了在本地节点上查询分片。如果本地节点不包含索引数据的分片副本，那么请求会在另一个符合条件的节点上使用自适应副本选择。

curl -X GET "localhost:9200/my-index-000001/_search?preference=_local&pretty" -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}
'

你可以根据preference参数提供的字符串来路由查询到指定的分片。如果集群状态和选择分片没有改变，查询将会使用相同的preference字符串以相同的顺序路由到相同的分片上。

我们推荐使用唯一的preference字符串，例如用户名字或者web sessionID。这个字符串不能以_.开头。

提示：您可以使用此选项为经常使用和资源密集型的搜索提供缓存的结果。如果分片的数据没有变化，则使用相同的首选项字符串重复搜索，从相同的分片请求缓存中检索结果。对于时间序列用例，比如日志，旧索引中的数据很少更新，可以直接从这个缓存中提供。

根据以下请求使用preference=my-custom-shard-string搜索my-index-000001索引。

curl -X GET "localhost:9200/my-index-000001/_search?preference=my-custom-shard-string&pretty" -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}
'

提示：如果集群状态和备选的分片被被改变，相同的preference字符串可能不会以相同顺序路由查询到相同的分片，发生这种情况的原因有很多，包括分片重定位和分片故障。节点还可以拒绝搜索请求，Elasticsearch 会将其重新路由到另一个节点。

使用路由值

当你索引一个文档的时候，你可以指定一个routing value选项来路由这个文档到指定的分片上。

例如以下例子，根据索引请求使用my-routing-value来路由一个文档。

curl -X POST "localhost:9200/my-index-000001/_doc?routing=my-routing-value&pretty" -H 'Content-Type: application/json' -d'
{
  "@timestamp": "2099-11-15T13:12:00",
  "message": "GET /search HTTP/1.1 200 1070000",
  "user": {
    "id": "kimchy"
  }
}
'

你也可以在查询API的routing查询参数中使用相同的路由值。这确保在索引文档的相同分片上运行查询。

curl -X GET "localhost:9200/my-index-000001/_search?routing=my-routing-value&pretty" -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}
'

你也可以提供多个逗号分隔的路由值：

curl -X GET "localhost:9200/my-index-000001/_search?routing=my-routing-value,my-routing-value-2&pretty" -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}
'

搜索的并行性和并发性

默认情况下，ElasticSearch不会根据请求hits的分片数量拒绝搜索请求。然后，命中很大数量的分片会增加内存和CPU的使用率。

提示：有关防止索引包含大量分片的技巧。请参考Avoid oversharding

你可以使用max_concurrent_shard_requests参数来控制搜索请求可以命中每个节点的最大并发分片数。这个可以防止单个请求时集群过载。改参数默认值为5。

curl -X GET "localhost:9200/my-index-000001/_search?max_concurrent_shard_requests=3&pretty" -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}
'

您还可以使用 action.search.shard_count.limit 集群设置来设置搜索分片限制并拒绝命中过多分片的请求。您可以使用集群设置 API 配置 action.search.shard_count.limit。