开始使用Elasticsearch

最新推荐文章于 2020-10-08 23:34:54 发布
最新推荐文章于 2020-10-08 23:34:54 发布
阅读量200 收藏
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch

开始使用Elasticsearch

准备好测试驱动程序的Elasticsearch了吗?看看如何使用REST api来存储、搜索和分析数据?

步骤通过这个入门教程到:

启动并运行一个Elasticsearch实例

索引一些示例文档

使用Elasticsearch查询语言搜索文档

使用bucket和度量聚合分析结果

需要更多的?

查看Elasticsearch介绍，学习术语并了解基本的Elasticsearch工作原理。如果您已经熟悉Elasticsearch，并且希望了解它如何与堆栈的其余部分一起工作，那么您可能希望跳到Elastic stack教程，了解如何使用Elasticsearch、Kibana、Beats和Logstash设置系统监视解决方案。

提示

开始使用Elasticsearch的最快方法是在云中免费试用14天的Elasticsearch服务。

Installation

安装

提示

通过在Elastic Cloud上使用我们托管的Elasticsearch服务，您可以跳过安装Elasticsearch。Elasticsearch服务可以在AWS和GCP上使用。免费试用Elasticsearch服务。

请注意

Elasticsearch包含了JDK维护者(GPLv2+CE)提供的OpenJDK捆绑版本。要使用您自己的Java版本，请参阅JVM版本需求

可以从www.elastic.co/下载这些二进制文件。平台相关的归档文件可用于Windows、Linux和macOS。此外，DEB和RPM包可用于Linux, MSI安装包可用于Windows。您还可以使用Elastic Homebrew tap在macOS上使用brew包管理器安装。

Linuxedit上的安装示例

为了简单起见，我们使用tar文件。

让我们下载Elasticsearch 7.2.0 Linux tar，如下所示:

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.2.0-linux-x86_64.tar.gz

然后提取如下:

tar -xvf elasticsearch-7.2.0-linux-x86_64.tar.gz

然后，它将在当前目录中创建一组文件和文件夹。然后进入bin目录如下:

cd elasticsearch-7.2.0/bin

现在我们准备好启动节点和单个集群:

./elasticsearch

使用MSI Windows Installeredit安装示例

对于Windows用户，为了便于使用，我们建议使用MSI安装程序包。该包包含一个图形用户界面(GUI)，指导您完成安装过程。

首先，从https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.2.0.msi下载Elasticsearch 7.2.0 MSI。

然后双击下载的文件来启动GUI。在第一个屏幕中，选择部署目录:

msi安装位置

然后选择是作为服务安装，还是根据需要手动启动Elasticsearch。要与Linux示例保持一致，请选择不将其安装为服务:

msi安装程序没有服务

对于配置，只需保留默认值:

msi安装配置

同样，为了与tar示例保持一致，取消选中所有插件以不安装任何插件:

https://www.elastic.co/guide/en/elasticsearch/reference/7.2/images/msi_installer/msi_installer_plugins.png

msi安装插件

点击install按钮后，将安装Elasticsearch:

msi安装成功

默认情况下，Elasticsearch将安装在%PROGRAMFILES%\Elastic\Elasticsearch。导航到这里，进入bin目录如下:

with Command Prompt:
cd %PROGRAMFILES%\Elastic\Elasticsearch\bin
with PowerShell:
cd $env:PROGRAMFILES\Elastic\Elasticsearch\bin
And now we are ready to start our node and single cluster:
.\elasticsearch.exe

成功启动节点

如果安装一切顺利，您应该会看到一串如下所示的消息:

[2018-09-13T12:20:01,766][INFO ][o.e.e.NodeEnvironment    ] [localhost.localdomain] using [1] data paths, mounts [[/home (/dev/mapper/fedora-home)]], net usable_space [335.3gb], net total_space [410.3gb], types [ext4]
[2018-09-13T12:20:01,772][INFO ][o.e.e.NodeEnvironment    ] [localhost.localdomain] heap size [990.7mb], compressed ordinary object pointers [true]
[2018-09-13T12:20:01,774][INFO ][o.e.n.Node               ] [localhost.localdomain] node name [localhost.localdomain], node ID [B0aEHNagTiWx7SYj-l4NTw]
[2018-09-13T12:20:01,775][INFO ][o.e.n.Node               ] [localhost.localdomain] version[7.2.0], pid[13030], build[oss/zip/77fc20e/2018-09-13T15:37:57.478402Z], OS[Linux/4.16.11-100.fc26.x86_64/amd64], JVM["Oracle Corporation"/OpenJDK 64-Bit Server VM/10/10+46]
[2018-09-13T12:20:01,775][INFO ][o.e.n.Node               ] [localhost.localdomain] JVM arguments [-Xms1g, -Xmx1g, -XX:+UseConcMarkSweepGC, -XX:CMSInitiatingOccupancyFraction=75, -XX:+UseCMSInitiatingOccupancyOnly, -XX:+AlwaysPreTouch, -Xss1m, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djna.nosys=true, -XX:-OmitStackTraceInFastThrow, -Dio.netty.noUnsafe=true, -Dio.netty.noKeySetOptimization=true, -Dio.netty.recycler.maxCapacityPerThread=0, -Dlog4j.shutdownHookEnabled=false, -Dlog4j2.disable.jmx=true, -Djava.io.tmpdir=/tmp/elasticsearch.LN1ctLCi, -XX:+HeapDumpOnOutOfMemoryError, -XX:HeapDumpPath=data, -XX:ErrorFile=logs/hs_err_pid%p.log, -Xlog:gc*,gc+age=trace,safepoint:file=logs/gc.log:utctime,pid,tags:filecount=32,filesize=64m, -Djava.locale.providers=COMPAT, -XX:UseAVX=2, -Dio.netty.allocator.type=unpooled, -Des.path.home=/home/manybubbles/Workspaces/Elastic/master/elasticsearch/qa/unconfigured-node-name/build/cluster/integTestCluster node0/elasticsearch-7.0.0-alpha1-SNAPSHOT, -Des.path.conf=/home/manybubbles/Workspaces/Elastic/master/elasticsearch/qa/unconfigured-node-name/build/cluster/integTestCluster node0/elasticsearch-7.0.0-alpha1-SNAPSHOT/config, -Des.distribution.flavor=oss, -Des.distribution.type=zip]
[2018-09-13T12:20:02,543][INFO ][o.e.p.PluginsService     ] [localhost.localdomain] loaded module [aggs-matrix-stats]
[2018-09-13T12:20:02,543][INFO ][o.e.p.PluginsService     ] [localhost.localdomain] loaded module [analysis-common]
[2018-09-13T12:20:02,543][INFO ][o.e.p.PluginsService     ] [localhost.localdomain] loaded module [ingest-common]
[2018-09-13T12:20:02,544][INFO ][o.e.p.PluginsService     ] [localhost.localdomain] loaded module [lang-expression]
[2018-09-13T12:20:02,544][INFO ][o.e.p.PluginsService     ] [localhost.localdomain] loaded module [lang-mustache]
[2018-09-13T12:20:02,544][INFO ][o.e.p.PluginsService     ] [localhost.localdomain] loaded module [lang-painless]
[2018-09-13T12:20:02,544][INFO ][o.e.p.PluginsService     ] [localhost.localdomain] loaded module [mapper-extras]
[2018-09-13T12:20:02,544][INFO ][o.e.p.PluginsService     ] [localhost.localdomain] loaded module [parent-join]
[2018-09-13T12:20:02,544][INFO ][o.e.p.PluginsService     ] [localhost.localdomain] loaded module [percolator]
[2018-09-13T12:20:02,544][INFO ][o.e.p.PluginsService     ] [localhost.localdomain] loaded module [rank-eval]
[2018-09-13T12:20:02,544][INFO ][o.e.p.PluginsService     ] [localhost.localdomain] loaded module [reindex]
[2018-09-13T12:20:02,545][INFO ][o.e.p.PluginsService     ] [localhost.localdomain] loaded module [repository-url]
[2018-09-13T12:20:02,545][INFO ][o.e.p.PluginsService     ] [localhost.localdomain] loaded module [transport-netty4]
[2018-09-13T12:20:02,545][INFO ][o.e.p.PluginsService     ] [localhost.localdomain] no plugins loaded
[2018-09-13T12:20:04,657][INFO ][o.e.d.DiscoveryModule    ] [localhost.localdomain] using discovery type [zen]
[2018-09-13T12:20:05,006][INFO ][o.e.n.Node               ] [localhost.localdomain] initialized
[2018-09-13T12:20:05,007][INFO ][o.e.n.Node               ] [localhost.localdomain] starting ...
[2018-09-13T12:20:05,202][INFO ][o.e.t.TransportService   ] [localhost.localdomain] publish_address {127.0.0.1:9300}, bound_addresses {[::1]:9300}, {127.0.0.1:9300}
[2018-09-13T12:20:05,221][WARN ][o.e.b.BootstrapChecks    ] [localhost.localdomain] max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
[2018-09-13T12:20:05,221][WARN ][o.e.b.BootstrapChecks    ] [localhost.localdomain] max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
[2018-09-13T12:20:08,355][INFO ][o.e.c.s.MasterService    ] [localhost.localdomain] elected-as-master ([0] nodes joined)[, ], reason: master node changed {previous [], current [{localhost.localdomain}{B0aEHNagTiWx7SYj-l4NTw}{hzsQz6CVQMCTpMCVLM4IHg}{127.0.0.1}{127.0.0.1:9300}{testattr=test}]}
[2018-09-13T12:20:08,360][INFO ][o.e.c.s.ClusterApplierService] [localhost.localdomain] master node changed {previous [], current [{localhost.localdomain}{B0aEHNagTiWx7SYj-l4NTw}{hzsQz6CVQMCTpMCVLM4IHg}{127.0.0.1}{127.0.0.1:9300}{testattr=test}]}, reason: apply cluster state (from master [master {localhost.localdomain}{B0aEHNagTiWx7SYj-l4NTw}{hzsQz6CVQMCTpMCVLM4IHg}{127.0.0.1}{127.0.0.1:9300}{testattr=test} committed version [1] source [elected-as-master ([0] nodes joined)[, ]]])
[2018-09-13T12:20:08,384][INFO ][o.e.h.n.Netty4HttpServerTransport] [localhost.localdomain] publish_address {127.0.0.1:9200}, bound_addresses {[::1]:9200}, {127.0.0.1:9200}

无需详细介绍，我们可以看到我们的节点名为“localhost”。“localdomain”已启动并将自己选为单个集群中的主机。现在还不用担心master是什么意思。这里最重要的是，我们已经在一个集群中启动了一个节点。

如前所述，我们可以覆盖集群或节点名。当开始Elasticsearch时，可以从命令行执行以下操作:

./elasticsearch -Ecluster.name=my_cluster_name -Enode.name=my_node_name

还要注意标记为http的行，其中包含关于我们的节点可以访问的http地址(192.168.8.112)和端口(9200)的信息。默认情况下，Elasticsearch使用端口9200提供对其REST API的访问。如果需要，这个端口是可配置的。

探索您的集群

REST API

现在我们已经启动并运行了节点(和集群)，下一步是了解如何与它通信。幸运的是，Elasticsearch提供了一个非常全面和强大的REST API，您可以使用它与集群进行交互。使用该API可以做的少数事情如下:

检查集群、节点和索引的健康状况、状态和统计数据

管理集群、节点、索引数据和元数据

对索引执行CRUD(创建、读取、更新和删除)和搜索操作

执行高级搜索操作，如分页、排序、过滤、脚本、聚合等

集群的健康

让我们从一个基本的健康检查开始，我们可以使用它来查看集群的运行情况。我们将使用curl来实现这一点，但是您可以使用任何允许您进行HTTP/REST调用的工具。假设我们仍然在开始Elasticsearch的节点上，并打开另一个命令shell窗口。

为了检查集群的健康状况，我们将使用_cat API。您可以在Kibana的控制台中运行下面的命令，方法是单击“在控制台中查看”，或者使用curl，方法是单击下面的“COPY AS curl”链接并将其粘贴到终端中。

GET /_cat/health?v

响应:

epoch      timestamp cluster       status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1475247709 17:01:49  elasticsearch green           1         1      0   0    0    0        0             0                  -                100.0%

我们可以看到名为“elasticsearch”的集群处于绿色状态。

每当我们要求集群健康状况时，我们要么得到绿色、黄色，要么得到红色。

绿色——一切正常(集群功能齐全)

黄色——所有数据可用，但有些副本尚未分配(集群功能完全)

红色——有些数据由于某种原因不可用(集群部分功能)

注意:当集群为红色时，它将继续为可用碎片的搜索请求提供服务，但是您可能需要尽快修复它，因为存在未分配的分片。

同样，从上面的响应中，我们可以看到总共有1个节点，并且有0个切分，因为其中还没有数据。注意,因为我们使用的是默认集群名称(elasticsearch)和由于elasticsearch使用单播网络发现默认情况下找到其他节点在同一台机器上,这是可能的,你可以启动多个节点在你的电脑上,让他们加入一个集群。在此场景中，您可能会在上面的响应中看到多个节点。

我们还可以得到集群中的节点列表如下:

GET /_cat/nodes?v

response:

ip        heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
127.0.0.1           10           5   5    4.46                        mdi      *      PB2SGZY

在这里，我们可以看到一个名为“PB2SGZY”的节点，它是当前集群中的单个节点。

列出所有指标

现在让我们来看看我们的索引:

GET /_cat/indices?v

response:

health status index uuid pri rep docs.count docs.deleted store.size pri.store.size

这就意味着在这还没有指标。

创建一个索引

现在让我们创建一个名为“customer”的索引，然后再次列出所有索引:

PUT /customer?pretty
GET /_cat/indices?v

第一个命令使用PUT谓词创建名为“customer”的索引。我们只需在调用的末尾追加pretty，让它漂亮地打印JSON响应(如果有的话)。

health status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   customer 95SQ4TSUT7mWBT7VNHH67A   1   1          0            0       260b           260b

第二个命令的结果告诉我们，现在有一个名为customer的索引，它有一个主分分和一个副本(默认值)，其中没有包含任何文档。

您还可能注意到customer索引上标记了一个黄色health。回想一下我们前面的讨论，黄色表示还没有分配一些副本。发生这种情况的原因是，在默认情况下，Elasticsearch为该索引创建了一个副本。由于我们目前只有一个节点在运行，所以直到稍后另一个节点加入集群时，才可以分配该副本(用于高可用性)。一旦将该副本分配到第二个节点，该索引的健康状态将变为绿色。

索引和查询文档

现在让我们把一些东西放入我们的客户索引中。我们将一个简单的客户文档索引到客户索引中，ID为1，如下所示:

PUT /customer/_doc/1?pretty
{
  "name": "John Doe"
}

response:

{
  "_index" : "customer",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

从上面，我们可以看到在customer索引中成功创建了一个新的customer文档。文档的内部id也是1，这是我们在索引时指定的。

需要注意的是，Elasticsearch并不要求您在将文档编入索引之前先显式地创建索引。在前面的示例中，Elasticsearch将自动创建客户索引(如果它之前不存在)。

现在让我们检索刚才索引的文档:

GET /customer/_doc/1?pretty

response:

{
  "_index" : "customer",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "_seq_no" : 25,
  "_primary_term" : 1,
  "found" : true,
  "_source" : { "name": "John Doe" }
}

这里只有一个字段found，说明我们找到了一个ID为1的文档和另一个字段_source，该字段返回上一步索引的完整JSON文档。

删除一个索引

现在让我们删除刚才创建的索引，然后再次列出所有索引:

DELETE /customer?pretty
GET /_cat/indices?v

response:

health status index uuid pri rep docs.count docs.deleted store.size pri.store.size

这意味着索引被成功删除，现在我们回到了在集群中什么都没有开始的地方。

在我们继续之前，让我们再仔细看看到目前为止我们学过的一些API命令

PUT /customer
PUT /customer/_doc/1
{
  "name": "John Doe"
}
GET /customer/_doc/1
DELETE /customer

如果仔细研究上面的命令，我们实际上可以看到在Elasticsearch中访问数据的模式。这种格局可以概括如下:

<HTTP Verb> /<Index>/<Endpoint>/<ID>

这种REST访问模式在所有API命令中都非常普遍，如果您能够简单地记住它，您将在掌握Elasticsearch方面有一个良好的开端。

修改你的数据

Elasticsearch提供近实时的数据操作和搜索功能。默认情况下，从索引/更新/删除数据到它出现在搜索结果中，您可以期待一秒钟的延迟(刷新间隔)。这是与其他平台(如SQL)的一个重要区别，在SQL中，事务完成后数据立即可用。

索引/替换文件

我们之前已经了解了如何索引单个文档。让我们再回忆一下这个命令:

PUT /customer/_doc/1?pretty
{
  "name": "John Doe"
}

同样，上面将把指定的文档索引到customer索引中，ID为1。如果我们用一个不同的(或相同的)文档再次执行上面的命令，Elasticsearch将替换(即重新索引)ID为1的现有文档之上的一个新文档:

PUT /customer/_doc/1?pretty
{
  "name": "Jane Doe"
}

上面将ID为1的文档名称从“John Doe”更改为“Jane Doe”。另一方面，如果我们使用不同的ID，则将索引一个新文档，并且索引中已有的文档保持不变。

PUT /customer/_doc/2?pretty
{
  "name": "Jane Doe"
}

上面的索引是一个ID为2的新文档。

索引时，ID部分是可选的。如果没有指定，Elasticsearch将生成一个随机ID，然后使用它来索引文档。Elasticsearch实际生成的ID (或前面示例中显式指定的任何内容)作为索引API调用的一部分返回。

这个例子展示了如何索引一个没有显式ID的文档:

POST /customer/_doc?pretty
{
  "name": "Jane Doe"
}

注意，在上面的例子中，我们使用POST谓词而不是PUT，因为我们没有指定ID。

更新文档

除了能够索引和替换文档外，我们还可以更新文档。请注意，Elasticsearch实际上并没有在底层执行就地更新。每当我们执行更新时，Elasticsearch都会删除旧文档，然后一次性为新文档添加更新索引。

这个例子展示了如何通过将name字段更改为“Jane Doe”来更新我们之前的文档(ID为1):

POST /customer/_update/1?pretty	
{
  "doc": { "name": "Jane Doe" }
}

这个例子展示了如何通过将name字段更改为“Jane Doe”来更新我们之前的文档(ID为1)，同时添加一个年龄字段:

POST /customer/_update/1?pretty
{
  "doc": { "name": "Jane Doe", "age": 20 }
}

在上面的例子中，ctx._source引用将要更新的当前源文档。

Elasticsearch提供了更新给定查询条件的多个文档的能力(比如SQL update - where语句)。请看docs-update-by-query API

删除文档

删除文档相当简单。这个例子展示了如何删除ID为2的前一个客户:

DELETE /customer/_doc/2?pretty

请参阅_delete_by_query API来删除与特定查询匹配的所有文档。值得注意的是，删除整个索引比使用delete By Query API删除所有文档要有效得多。

批处理

除了能够索引、更新和删除单个文档之外，Elasticsearch还提供了使用_bulk API批量执行上述操作的能力。此功能非常重要，因为它提供了一种非常有效的机制，可以在尽可能少的网络往返的情况下尽可能快地执行多个操作。

作为一个简单的例子，下面的调用在一个批量操作中索引两个文档(ID 1 - John Doe和ID 2 - Jane Doe):

POST /customer/_bulk?pretty
{"index":{"_id":"1"}}
{"name": "John Doe" }
{"index":{"_id":"2"}}
{"name": "Jane Doe" }

本例更新第一个文档(ID为1)，然后在一次批量操作中删除第二个文档(ID为2):

POST /customer/_bulk?pretty
{"update":{"_id":"1"}}
{"doc": { "name": "John Doe becomes Jane Doe" } }
{"delete":{"_id":"2"}}

请注意，对于delete操作，它之后没有对应的源文档，因为删除操作只需要删除文档的ID。

批量API不会因为某个操作失败而失败。如果一个操作由于某种原因失败，它将在失败之后继续处理其余的操作。当bulk API返回时，它将为每个操作提供一个状态(与发送操作的顺序相同)，以便检查某个特定操作是否失败。

探索你的数据

样本数据集

现在我们已经了解了基本知识，让我们尝试使用更真实的数据集。我准备了一个虚构的JSON客户银行账户信息文档示例。每个文档都有以下模式:

{
    "account_number": 0,
    "balance": 16623,
    "firstname": "Bradshaw",
    "lastname": "Mckenzie",
    "age": 29,
    "gender": "F",
    "address": "244 Columbus Place",
    "employer": "Euron",
    "email": "bradshawmckenzie@euron.com",
    "city": "Hobucken",
    "state": "CO"
}

出于好奇，该数据是使用www.json- generator.com/生成的，因此请忽略数据的实际值和语义，因为它们都是随机生成的。

加载示例数据集

您可以从 here下载示例数据集(accounts.json).。将其解压缩到当前目录，并将其加载到集群中，如下所示:

curl -H "Content-Type: application/json" -XPOST "localhost:9200/bank/_bulk?pretty&refresh" --data-binary "@accounts.json"
curl "localhost:9200/_cat/indices?v"

reeponse:

health status index uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   bank  l7sSYV2cQXmu6_4rJWVIww   5   1       1000            0    128.6kb        128.6kb

这意味着我们刚刚成功地将索引的1000个文档批量存储到银行索引中。

搜索API

现在让我们从一些简单的搜索开始。运行搜索有两种基本方法:一种是通过REST请求URI发送搜索参数，另一种是通过REST请求体发送搜索参数。请求体方法允许您更富表现力，还可以以更可读的JSON格式定义搜索。我们将尝试请求URI方法的一个示例，但是在本教程的其余部分中，我们将只使用请求体方法。

用于搜索的REST API可以从_search端点访问。这个例子返回银行索引中的所有文档:

GET /bank/_search?q=*&sort=account_number:asc&pretty

让我们首先分析一下搜索调用。我们正在银行索引中搜索(_search endpoint)， q=*参数指示Elasticsearch匹配索引中的所有文档。sort=account_number:asc参数指示使用每个文档的account_number字段按升序对结果排序。同样，pretty参数只告诉Elasticsearch返回打印得很漂亮的JSON结果。

{
  "took" : 63,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
        "value": 1000,
        "relation": "eq"
    },
    "max_score" : null,
    "hits" : [ {
      "_index" : "bank",
      "_type" : "_doc",
      "_id" : "0",
      "sort": [0],
      "_score" : null,
      "_source" : {"account_number":0,"balance":16623,"firstname":"Bradshaw","lastname":"Mckenzie","age":29,"gender":"F","address":"244 Columbus Place","employer":"Euron","email":"bradshawmckenzie@euron.com","city":"Hobucken","state":"CO"}
    }, {
      "_index" : "bank",
      "_type" : "_doc",
      "_id" : "1",
      "sort": [1],
      "_score" : null,
      "_source" : {"account_number":1,"balance":39225,"firstname":"Amber","lastname":"Duke","age":32,"gender":"M","address":"880 Holmes Lane","employer":"Pyrami","email":"amberduke@pyrami.com","city":"Brogan","state":"IL"}
    }, ...
    ]
  }
}

关于回应，我们看到以下部分:

took - Elasticsearch执行搜索的时间(以毫秒为单位)

timed_out - 告诉我们搜索是否超时

_shards - 告诉我们搜索了多少碎片，以及成功/失败搜索碎片的计数

hits - 搜索结果

hits.total - 包含与搜索条件匹配的文档总数相关的信息的对象

         hits.total.value - 总命中数的值(必须在hit .total. relationship上下文中解释)。

         hits.total.relation - hits.total。value准确的命中次数是多少，在这种情况下它等于“eq”或总命中次数的下界(大于或等于)，在这种情况下它等于gte。

hits.hits - 实际的搜索结果数组(默认为前10个文档)

hits.sort - 每个结果的排序键的排序值(如果按分数排序，则丢失)

hits._score 和 max_score - 暂时忽略这些字段

命中的准确性。total由请求参数track_total_hits控制，当设置为true时，请求将精确地跟踪总命中(“relationship”:“eq”)。默认值为10,000，这意味着总命中数可以精确地跟踪到10,000个文档。通过显式地将track_total_hits设置为true，可以强制进行准确的计数。有关详细信息，请参阅request body文档。

这里是与上面相同的搜索，使用的替代请求体方法:

GET /bank/_search
{
  "query": { "match_all": {} },
  "sort": [
    { "account_number": "asc" }
  ]
}

这里的不同之处在于，我们没有在URI中传递q=*，而是向_search API提供了json风格的查询请求体。我们将在下一节中讨论这个JSON查询。

重要的是要了解，一旦您获得了搜索结果，Elasticsearch就会完全处理请求，并且不会维护任何类型的服务器端资源，也不会在结果中打开游标。这是许多其他平台如SQL形成鲜明对比,你最初可能得到部分的子集查询结果预先然后不断返回到服务器,如果你想获取(或页面)其余的结果使用某种状态的服务器端游标。

引入查询语言

Elasticsearch提供了一种json风格的特定于域的语言，您可以使用它来执行查询。这称为查询DSL。查询语言非常全面，乍一看可能有些吓人，但实际上学习它的最佳方法是从几个基本示例开始。

回到上一个例子，我们执行了这个查询:

GET /bank/_search
{
  "query": { "match_all": {} }
}

通过分析上面的内容，查询部分告诉我们查询定义是什么，match_all部分只是我们想要运行的查询类型。match_all查询只是搜索指定索引中的所有文档。

除了查询参数，我们还可以传递其他参数来影响搜索结果。在上面我们传入sort的例子中，这里我们传入size:

GET /bank/_search
{
  "query": { "match_all": {} },
  "size": 1
}

注意，如果没有指定大小，则默认为10。

这个例子执行match_all并返回文档10到19:

GET /bank/_search
{
  "query": { "match_all": {} },
  "from": 10,
  "size": 10
}

from参数(基于0)指定从哪个文档索引开始，size参数指定从from参数开始返回多少文档。该特性在实现搜索结果分页时非常有用。注意，如果没有指定from，则默认值为0。

本例执行match_all操作，并按帐户余额降序对结果进行排序，并返回前10个(默认大小)文档。

GET /bank/_search
{
  "query": { "match_all": {} },
  "sort": { "balance": { "order": "desc" } }
}

执行搜索

现在我们已经看到了一些基本的搜索参数，让我们深入研究查询DSL。让我们首先看看返回的文档字段。默认情况下，完整的JSON文档作为所有搜索的一部分返回。这被称为source (search hits中的_source字段)。如果我们不希望返回整个源文档，我们可以只从源中请求返回几个字段。

这个例子展示了如何从搜索中返回两个字段account_number和balance(在_source中):

GET /bank/_search
{
  "query": { "match_all": {} },
  "_source": ["account_number", "balance"]
}

注意，上面的示例只减少了_source字段。它仍然只返回一个名为_source的字段，但是其中只包含account_number和balance字段。

如果您来自SQL背景，那么上面的内容在概念上与SQL SELECT from field list有些类似。

现在让我们进入查询部分。在前面，我们已经了解了如何使用match_all查询来匹配所有文档。现在让我们引入一个名为match查询的新查询，它可以被看作是基本的字段搜索查询(即针对特定字段或字段集进行的搜索)。

这个例子返回编号为20的帐户:

GET /bank/_search
{
  "query": { "match": { "account_number": 20 } }
}

这个例子返回地址中包含术语“mill”的所有帐户:

GET /bank/_search
{
  "query": { "match": { "address": "mill lane" } }
}

这个例子是match (match_phrase)的一个变体，它返回地址中包含短语“mill lane”的所有帐户:

GET /bank/_search
{
  "query": { "match_phrase": { "address": "mill lane" } }
}

现在让我们介绍bool查询。bool查询允许我们使用布尔逻辑将较小的查询组合成较大的查询。

这个例子包含两个匹配查询，返回地址中包含“mill”和“lane”的所有帐户:

GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

在上面的示例中，bool must子句指定了所有必须为true的查询，以便将文档视为匹配。

相反，这个例子包含两个匹配查询，并返回地址中包含“mill”或“lane”的所有帐户:

GET /bank/_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

在上面的示例中，bool should子句指定了一个查询列表，其中任何一个查询必须为真，才能将文档视为匹配。

这个例子包含两个匹配查询，返回地址中既不包含“mill”也不包含“lane”的所有帐户:

GET /bank/_search
{
  "query": {
    "bool": {
      "must_not": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

在上面的例子中，bool must_not子句指定了一个查询列表，其中没有一个查询必须为真，才能将文档视为匹配。

我们可以在bool查询中同时组合must、should和must_not子句。此外，我们可以在这些bool子句中组合bool查询，以模拟任何复杂的多级布尔逻辑。

这个例子返回所有40岁但不居住在ID(aho)的人的账户:

GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "age": "40" } }
      ],
      "must_not": [
        { "match": { "state": "ID" } }
      ]
    }
  }
}

执行过滤器

在上一节中，我们跳过了一个名为document score(搜索结果中的_score字段)的小细节。分数是一个数值，它是衡量文档与我们指定的搜索查询匹配程度的一个相对指标。分数越高，文档越相关，分数越低，文档越不相关。

但是查询并不总是需要生成分数，特别是当它们只用于“过滤”文档集时。Elasticsearch检测这些情况并自动优化查询执行，以避免计算无用的分数。

我们在上一节中介绍的bool查询还支持filter子句，它允许我们使用查询来限制将由其他子句匹配的文档，而不改变计算分数的方式。作为一个示例，让我们介绍范围查询，它允许我们根据一系列值筛选文档。这通常用于数字或日期筛选。

本例使用bool查询返回余额在20000到30000之间的所有帐户，包括余额。换句话说，我们希望找到余额大于或等于20000，小于或等于30000的账户。

GET /bank/_search
{
  "query": {
    "bool": {
      "must": { "match_all": {} },
      "filter": {
        "range": {
          "balance": {
            "gte": 20000,
            "lte": 30000
          }
        }
      }
    }
  }
}

通过分析上面的内容，bool查询包含一个match_all查询(查询部分)和一个range查询(筛选部分)。我们可以将任何其他查询替换到查询和筛选器部分中。在上面的例子中，范围查询非常有意义，因为落入范围的文档都“相等”匹配，即在美国，没有任何文件比其他文件更相关。

除了match_all、match、bool和range查询之外，还有许多其他可用的查询类型，我们在这里不深入讨论它们。既然我们已经对它们的工作原理有了基本的了解，那么在学习和试验其他查询类型时应用这些知识应该不会太难。

执行聚合

聚合提供了对数据进行分组和提取统计信息的能力。考虑聚合最简单的方法是大致将其等同于SQL GROUP by和SQL聚合函数。在Elasticsearch中，您可以执行返回命中的搜索，同时在一个响应中返回与所有命中分离的聚合结果。这是非常强大和高效的，因为您可以运行查询和多个聚合，并一次性获得这两个(或任何一个)操作的结果，从而避免使用简洁和简化的API进行网络往返。

首先，这个示例按状态对所有帐户进行分组，然后返回按count降序排列的前10个(默认)状态(也是默认):

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      }
    }
  }
}

在SQL中，上述聚合在概念上与:

SELECT state, COUNT(*) FROM bank GROUP BY state ORDER BY COUNT(*) DESC LIMIT 10;

及回应(部分显示):

{
  "took": 29,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped" : 0,
    "failed": 0
  },
  "hits" : {
     "total" : {
        "value": 1000,
        "relation": "eq"
     },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "group_by_state" : {
      "doc_count_error_upper_bound": 20,
      "sum_other_doc_count": 770,
      "buckets" : [ {
        "key" : "ID",
        "doc_count" : 27
      }, {
        "key" : "TX",
        "doc_count" : 27
      }, {
        "key" : "AL",
        "doc_count" : 25
      }, {
        "key" : "MD",
        "doc_count" : 25
      }, {
        "key" : "TN",
        "doc_count" : 23
      }, {
        "key" : "MA",
        "doc_count" : 21
      }, {
        "key" : "NC",
        "doc_count" : 21
      }, {
        "key" : "ND",
        "doc_count" : 21
      }, {
        "key" : "ME",
        "doc_count" : 20
      }, {
        "key" : "MO",
        "doc_count" : 20
      } ]
    }
  }
}

我们可以看到ID(爱达荷州)有27个帐户，其次是TX(德克萨斯州)的27个帐户，然后是AL(阿拉巴马州)的25个帐户，依此类推。

注意，我们将size=0设置为不显示搜索结果，因为我们只想看到响应中的聚合结果。

基于前面的汇总，本示例按状态计算平均帐户余额(同样只针对按count降序排列的前10个状态):

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

注意，我们如何将average_balance聚合嵌套在group_by_state聚合中。这是所有聚合的常见模式。您可以在聚合中任意嵌套聚合，以从数据中提取所需的旋转摘要。

基于之前的聚合，我们现在按降序对平均余额排序:

GET /bank/_search
{		
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword",
        "order": {
          "average_balance": "desc"
        }
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

这个例子展示了我们如何按照年龄等级(20-29岁，30-39岁，40-49岁)分组，然后按性别分组，最后得到每个年龄等级，每个性别的平均账户余额:

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_age": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "from": 20,
            "to": 30
          },
          {
            "from": 30,
            "to": 40
          },
          {
            "from": 40,
            "to": 50
          }
        ]
      },
      "aggs": {
        "group_by_gender": {
          "terms": {
            "field": "gender.keyword"
          },
          "aggs": {
            "average_balance": {
              "avg": {
                "field": "balance"
              }
            }
          }
        }
      }
    }
  }
}

还有许多其他聚合功能，我们在这里不会详细讨论。如果您想做进一步的实验，那么aggregations reference guide是一个很好的起点。

结论

elasticsearch既是一个简单的产品，也是一个复杂的产品。到目前为止，我们已经了解了它是什么、如何查看它的内部以及如何使用一些REST api来使用它。希望本教程能让您更好地理解Elasticsearch是什么，更重要的是，它激发了您进一步试验它的其他优秀特性!

limboys
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
百度地图接口
weixin_43283797的博客
01-04 2137
# 接口示例 import urllib.parse import urllib.request import json # http://api.map.baidu.com/place/v2/search?query=ATM机&amp;amp;amp;tag=银行&amp;amp;amp;region=北京&amp;amp;amp;output=json&amp;amp;amp;ak=您的ak //GET请求 args = {'query':'ATM机',...
开始安装elasticsearch
TT15751097576的博客
08-30 140
大数据开发卷五 ​ —Elasticsearch 分布式安装步骤（切记不要复制粘贴，全部过程需要手打，不然会出现格式错去） 考虑需要安装elasticsearch-head作为web展示 所以首先安装nodejs 主要是利用npm \1. wget https://npm.taobao.org/mirrors/node/v11.0.0/node-v11.0.0.tar.g...
开始使用 Elasticsearch （1）
热门推荐
Elastic 中国社区官方博客
08-14 3万+
在今天的这篇文章中，我们来主要介绍一下如何使用REST接口来对Elasticsearch进行操作。为了完成这项工作，我们必须完成如下的步骤： 安装 Elasticsearch。请参阅文章“如何在Linux，MacOS及Windows上进行安装Elasticsearch”。把Elasticsearch运行起来。 安装Kiban。请参阅文章“如何在Linux，MacOS及Windows上安装Ela................................................
Android 教你一步步搭建MVP+Retrofit+RxJava网络请求框架
夜流觞
02-16 9087
之前公司的项目用到了MVP+Retrofit+RxJava的框架进行网络请求，所以今天特此写一篇文章以做总结。相信很多人都听说过MVP、Retrofit、以及RxJava，有的人已经开始用了，有的人可能还不知道这是什么，以及到底怎么用。不过没关系，接下来我将为你一一揭开他们的神秘面纱，然后利用这三个家伙搭建一个网络请求框架 1.什么是MVP？ MVP（Model View Pres
华为鲲鹏920-4826/Intel-Platinum-9242/Intel-E5-2680V2双路计算服务器的LinpackHPL benchmark对比评测
12-14
内含华为鲲鹏920-4826/Intel-Platinum-9242/Intel-E5-2680V2双路计算服务器的LinpackHPL benchmark对比评测图，含gcc/icc结果。需要积分下载些东西，感谢理解支持！
一文入门Elasticsearch
Stay Hungry, Stay Foolish!
10-08 1032
文章目录一、ElasticSearch相关概念1. ElasticSearch和MySQL中的概念比较2. 倒排索引二、安装elasticsearch三、初步检索1. _CAT2. 索引一个文档3. 查看文档4. 更新文档5. 删除文档或索引6. elasticsearch的批量操作——bulk7. 样本测试数据四、进阶检索1. search Api2. Query DSL（1）基本语法格式（2）返回部分字段（3）match匹配查询（4）match_phrase [短句匹配]（5）multi_math【多字
Elasticsearch2.4.4免安装下载
12-04
由于这是一个免安装版本，所以在开始使用前，建议先熟悉Elasticsearch 的配置文件 `config/elasticsearch.yml`，根据需求调整相关设置，如内存分配、网络绑定、索引策略等。 总的来说，Elasticsearch 2.4.4 免安装...
elasticsearch备份恢复，elasticdump使用
最新发布
01-18
本文将详细介绍如何使用`elasticdump`工具进行Elasticsearch的数据备份与恢复。 ### 一、Elasticsearch备份 1. **理解备份需求**：在开始备份前，首先要明确备份的目的，是整个集群的备份还是特定索引的备份，是否...
Spring data elasticsearch使用方法详解
08-25
在开始使用 Spring Data Elasticsearch 之前，你需要在项目中添加相应的依赖。在 Maven 的 `pom.xml` 文件中，引入以下依赖： ```xml <groupId>org.springframework.boot <artifactId>spring-boot-starter-data-...
ActualSearchReplace_v2.86_HA_XiaZaiBa.zip
06-28
ActualSearchReplace，在选定目录中的所有文件内实现文本的查找/替换工具，很好的啊啊啊啊啊啊啊啊啊。
elasticsearch-6.2.0
02-12
ElasticSearch是一个基于Lucene开发的搜索服务器，具有分布式多用户的能力，ElasticSearch是用Java开发的开源项目(Apache许可条款)，基于Restful Web接口，能够达到实时搜索、稳定、可靠、快速、高性能、安装使用方便，同时它的横向扩展能力非常强，不需要重启服务。
EFK-release-1.13分支镜像3
12-02
K8s上部署EFK的镜像，这些镜像是以github官方地址build的，包括alpine-3.6、elasticsearch-v6.3.0、fluentd-elasticsearch-v2.2.0、kibana-oss-6.3.2四个镜像及其yaml文件。 这些镜像是以github release-1.13 build出来的。由于文件比较大，分了7个文件出来，分批上传
百度地图输入提示接口完整demo
04-11
百度地图地址提示完整demo，下载可以输入你的ak码直接可以运行，对于想了解学习百度地图接口的同学有很大帮助
elasticsearch 6.2.4 jar
12-25
4. **包结构**：压缩包中的"es"文件夹很可能包含Elasticsearch的核心库文件，这些文件是运行Elasticsearch服务的基础。"other"文件夹中的内容可能包含额外的依赖或辅助工具，其具体用途可能需要进一步探索或文档说明...
ElasticSearch.zip
06-13
Elasticsearch（简称 ES）是一种基于 Lucene 的开源全文搜索引擎，被广泛应用于大数据分析、日志收集、实时搜索等领域。它的设计目标是分布式、可扩展、高可用且易用，支持RESTful API，使得与ES交互变得简单。 **...
开始使用 Elasticsearch （2）
Elastic 中国社区官方博客
08-14 2万+
在上一篇文章中，我们已经介绍了如何使用REST接口来在Elasticsearch中创建index，文档以及对它们的操作。在今天的文章里，我们来介绍如何利用Elasticsearch来搜索我们的数据。Elasticsearch是近实时的搜索。我们还是接着我们上次的练习“开始使用Elasticsearch （1）” 在Elasticsearch中的搜索中，有两类搜索： queries aggre...............
开始使用 Elasticsearch （3）
Elastic 中国社区官方博客
08-15 1万+
在今天的这篇文章中，我们将来学习如何运用Elasticsearch来对我们的数据进行分析及一些关于Analyzer的介绍。在学习这个之前，我们必须完成之前的练习： 开始使用Elasticsearch （1）-- 如何对文档进行操作 开始使用Elasticsearch （2）-- 如何对数据进行搜索 我们使用前面两个练习所使用的文章建立我们的index，并在这篇文章中进行使用。 ................................................
如何使用 es7.1.1 elasticsearch-sql
07-28
- 现在，您可以开始使用 SQL 语法来查询 Elasticsearch 数据。 例如，您可以运行以下命令来执行一个简单的 SELECT 查询： ``` SELECT * FROM your_index_name WHERE your_field_name = 'your_value' ``` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值