ElasticSearch入门——笔记整理

最新推荐文章于 2024-06-17 16:09:14 发布
最新推荐文章于 2024-06-17 16:09:14 发布
阅读量430 收藏
点赞数
文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xrq19950928/article/details/129039733
版权

1 认识ElasticSearch

1.1 为什么要使用ElasticSearch

实际项目中，我们建立一个网站或应用程序，并要添加搜索功能，令我们受打击的是：搜索工作是很难的。我们希望我们的搜索解决方案要快，我们希望有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON/XML通过HTTP的索引数据，我们希望我们的搜索服务器始终可用，我们希望能够从一台开始并在需要扩容时方便地扩展到数百，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。

虽然全文搜索领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。但是，Lucene只是一个库。想要使用它，你必须使用Java来作为开发语言并将其直接集成到你的应用中，更糟糕的是，Lucene的配置及使用非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。

1.2 ElasticSearch（简称ES）

ES即为了解决原生Lucene使用的不足，优化Lucene的调用方式，并实现了高可用的分布式集群的搜索方案，其第一个版本于2010年2月出现在GitHub上并迅速成为最受欢迎的项目之一。

首先，ES的索引库管理支持依然是基于Apache Lucene(TM)的开源搜索引擎。ES也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的 RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。Lucene直接通过java API调用,而ES把这些API调用过程进行了的封装为简单RESTful请求,让我们调用起来更加简单.

不过，ES的核心不在于Lucene，其特点更多的体现为：分布式的实时文件存储，每个字段都被索引并可被搜索,分布式的实时分析搜索引擎,可以扩展到上百台服务器，处理PB级结构化或非结构化数据,高度集成化的服务，你的应用可以通过简单的 RESTful API、各种语言的客户端甚至命令行与之交互。上手Elasticsearch非常容易。它提供了许多合理的缺省值，并对初学者隐藏了复杂的搜索引擎理论。它拥有开瓶即饮的效果（安装即可使用），只需很少的学习既可在生产环境中使用。

Lucene和ES联系,区别：项目中为啥使用ES而不用Lucene.

联系:ElasticSearch封装了Lucene，让使用变得更简单，在高可用上面做得更好。

区别:ElasticSearch除了拥有Lucene所有优点以外,还拥有自己优点.

可用性:支持集群没有单点故障

扩展性:支持集群扩展

一般lucene在中小型项目中使用(但是也能使用es),而ES在大型项目中使用.因为ES支持在集群环境使用,并且自身也支持集群.

2 ES安装及使用说明

创作不易，更多技术书籍，IT网课，请关注vx公众号

豆萌萌 网课大咖

你的支持，我的动力

3 Restful认识

Restful是一种面向资源的架构风格，可以简单理解为：使用URL定位资源，用HTTP动词（GET,POST,DELETE,PUT）描述操作。 url中不要出现动词。

GET查询

PUT添加

POST修改

DELE删除

用户做crud

Get http://localhost:8080/employee/1

Get http://localhost:8080/employees

put http://localhost:8080/employee

{

“name”:”zs”,

“age”:17

}

delete http://localhost:8080/employee/1

Post http://localhost:8080/employee/1

{

}

使用Restful的好处：

透明性，暴露资源存在。

充分利用 HTTP 协议本身语义。

无状态，这点非常重要。在调用一个接口(interface)（访问、操作资源）的时候，可以不用考虑上下文，不用考虑当前状态，极大的降低了复杂度。

HTTP 本身提供了丰富的内容协商手段，无论是缓存，还是资源修改的乐观并发控制，都可以以业务无关的中间件来实现。

Restful的典型特征：

① Server(controller)提供的RESTful API(requestMapping(“/deleteUserById/{id}”)中，URL中只使用名词来指定资源。

getUserById

“资源”是REST架构或者说整个网络处理的核心。比如：

GET http://api.itsource.cn/emp/323: 获取323号员工的基本资料;

@RequstMapping(“/emp/{id}”,method=Me.GET)

Public AjaxResult getUserById(@PathVavirli(“id”) Long id){

//sdfsfsd

}

Delete http://com.woniuxy.com/emp/323: 删除一个323的员工

@RequstMapping(“/emp/{id}”,method=Me.DELETE)

Public AjaxResult delete(@PathVavirli(“id”) Long id){

//sdfsfsd

}

GET http://com.woniuxy.com/emps: 获取源码时代所有员工资料列表;

② REST 是面向资源的，这个概念非常重要，而资源是通过 URI 进行暴露

URI 的设计只要负责把资源通过合理方式暴露出来就可以了。对资源的操作与它无关，所以REST 通过 URI 暴露资源时，会强调不要在 URI 中出现动词。

比如：左边是错误的设计，而右边是正确的

GET /rest/api/getDogs -> GET /rest/api/dogs 获取所有小狗狗

GET /rest/api/addDogs -> PUT/rest/api/dogs 添加一个小狗狗

POST /rest/api/editDogs/12 -> POST /rest/api/dogs/12 修改一个小狗狗

POST /rest/api/deleteDogs/12 -> DELETE /rest/api/dogs/12 删除一个小狗狗

左边的这种设计，很明显不符合REST风格，URI 只负责准确无误的暴露资源，而 getDogs/addDogs…已经包含了对资源的操作，这是不对的。相反右边却满足了，它的操作是使用标准的HTTP动词来体现。

③ 用HTTP协议里的动词来实现资源的添加，修改，删除等操作。

即通过HTTP动词来实现资源的状态扭转：

GET 用来获取资源，

POST 用来新建资源（也可以用于更新资源），

PUT 用来更新资源，

DELETE 用来删除资源。

比如：

GET http://com.woniuxy.com/emp/323

PUT http://com.woniuxy.com/emp: 添加一个员工

POST http://com.woniuxy.com/emp/232: 更新232号员工资料

DELETE http://com.woniuxy.com/emp/323: 删除323号员工

4 ES数据管理

4.1 什么是ES中的文档

ES是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)。然而它不仅仅是存储，还会索引(index,创建索引)每个文档的内容使之可以被搜索。在ES中，你可以对文档（而非成行成列的数据）进行索引、搜索、排序、过滤。

ES使用Javascript对象符号(JavaScript Object Notation)，也就是JSON，作为文档序列化格式。JSON现在已经被大多语言所支持，而且已经成为NoSQL领域的标准格式。

ES存储的一个员工文档的格式示例：

{

“email”: “wb@itsource.cn”,

“name”: “文兵”,

“info”: {

“addr”: “四川省成都市”,

“age”: 30,

“interests”: [ “樱桃”, “粉嫩” ]

},

“join_date”: “2014-06-01”

}

尽管原始的 employee对象很复杂，但它的结构和对象的含义已经被完整的体现在JSON中了，在ES中将对象转化为JSON并做索引要比在表结构中做相同的事情简单的多。

一个文档不只有数据。它还包含元数据(metadata)—关于文档的信息。三个必须的元数据节点是：

节点说明
_index索引库，文档存储的地方
_type文档类型(6.x之后版本已取消)
_id文档的唯一标识

_index：索引库，类似于关系型数据库里的“数据库”—它是我们存储和索引关联数据的地方。

_type：类型,类似于关系型数据库中表.在应用中，我们使用对象表示一些“事物”，例如一个用户、一篇博客、一个评论，或者一封邮件。可以是大写或小写，不能包含下划线或逗号。我们将使用 employee 做为类型名。在新版本里面已经取消了

_id: 与 _index 和 _type 组合时，就可以在ELasticsearch中唯一标识一个文档。当创建一个文档，你可以自定义 _id ，也可以让Elasticsearch帮你自动生成。

_source：文档原始数据

_all：所有字段的连接字符串

4.2 文档的增删改

我们以员工对象为例，我们首先要做的是存储员工数据，每个文档代表一个员工。在ES中存储数据的行为就叫做索引(indexing)，文档归属于一种类型(type),而这些类型存在于索引(index)中，我们可以简单的对比传统数据库和ES的对应关系：

关系数据库（MYSQL） -> 数据库DB-> 表TABLE-> 行ROW-> 列Column

Elasticsearch -> 索引库Indices -> 类型Types -> 文档Documents -> 字段Fields

ES集群可以包含多个索引(indices)（数据库），每一个索引库中可以包含多个类型(types)（表），每一个类型包含多个文档(documents)（行），然后每个文档包含多个字段(Fields)（列）。

创建索引文档

  1. 使用自己的ID创建
PUT {index}/_doc/{id}
{
  "field": "value",
  ...
}
  1. 使用内置ID创建
POST {index}/_doc
{
  "field": "value",
  ...
}
  1. 获取指定ID的文档
GET {index}/_doc/1
  1. 更新文档
PUT {index}/_doc/{id}
{
  "field": "value",
  ...
}
  1. 跟创建语法一样，但是会改变版本号
  2. 删除文档
DELETE {index}/_doc/{id}
  1. 注意：尽管文档不存在，但_version依旧增加了。这是内部记录的一部分，它确保在多节点间不同操作可以有正确的顺序

4.3 文档的简单查询(searchAPI)

GET /_search
GET /woniu47/_search
GET /woniu47,woniu48/_search
GET /woniu*/_search

URLsearch：

通过ID获取

GET /woniu47/_doc/1

只返回文档内容，不要元数据：

GET /woniu47/_doc/1/_source

查询字符串搜索:

返回文档的部分字段：

GET /woniu47/_doc/1?_source=name,age

查询年龄为25岁的学员

GET /woniu47/_search?q=age:25

组合查询：

组合查询:

+表示并且,多个条件做且运算====>MUST

空格表示或,多个条件做或运算====>SHOULD

-表示非,多个条件做非运算====>MUST_NOT

+name:john +tweet:mary

+name:(mary john) +date:>2014-09-10 +(aggregations geo)

age[20 TO 30]

查询年龄在25到28 （两边都包括）或则姓名为wangwu的学员

GET /woniu47/_search?q=age:>=25 +age<=28 name:wangwu
GET /woniu47/_search?q=age[25 TO 28] name:wangwu

中括号可以换成大括号，中括号有=大括号没有

分页:

查询20岁以上的学员，显示3条

GET /woniu47/_search?q=age:>=20&size=3

查询20岁以上的学员，每页显示3条，显示第2页

GET /woniu47/_search?q=age:>=20&size=3&from=3

查询参数说明:

NameDescription
q标识查询字符串
df在查询中，没有定义字段前缀的情况下默认字段的前缀
analyzer在分析查询字符串时，分析器的名字
default_operator被用到的默认操作，有AND和OR两种，默认是OR
explain对于每一个命中，对怎样得到命中得分的计算给出一个解释
_source将其设置为false，查询就会放弃检索_source字段。也可以通过设置检索部分文档
fields命中的文档返回的字段
sort排序执行，可以fieldName、fieldName：asc
track_scores当排序的时候，将其设置为true，可以返回相关度得分
from分页查询起始点，默认0
size查询数量，默认10
search_type搜索操作执行的类型
…………

创作不易，更多技术书籍，IT网课，请关注vx公众号

豆萌萌 网课大咖

你的支持，我的动力

5 索引与分词

5.1 什么是倒排索引

倒排索引是先将文档进行分词处理，标记每个词都出现在哪些文档里面,这样就可以快速查询某个词所出现的文档位置。与之对应的是“正排索引”，例如我们看一本书的目录，从前往后查找目录，就是正排索引。

我们先来看3组文档，我们将文档编号分别列为1、2、3。

　　这3个文档里，核心词是“卫生间隔断”，如果你在搜索引擎上，直接搜索卫生间隔断，抛开文章内容，单看标题，哪个排第一？没错，就是文档1会出现在第一位，为什么？

　　因为倒排索引里，会通过单词词典，统计一个单词在文档里出现的位置。我们将上述文档里出现的词，都赋予一个ID。

这是一个最简单的倒排索引示意图：

5.2 什么是分词

分词是指将文本转换成一系列单词的过程，也可以叫文本分析，在es里面称为Analysis，如下图所示:

分词器是ES中专门处理分词的组件，英文为Analyzer，它的组成如下：

  • Character Filters
    针对原始文本进行处理，比如去除html特殊标记
  • Tokenizer
    将原始文本按照一定规则切分为单词
  • Token Filters
    针对tokenizer处理的单词进行再加工，比如转小写、删除或新增等处理

5.3 Analyze API

ES提供了一个测试分词的api接口，方便验证分词效果，endpoint是_analyze

  1. 直接指定analyzer进行测试
POST _analyze
{
  "analyzer": "standard",
  "text": "hello world"
}
  1. 直接指定索引中的字段进行测试
POST woniu47/_analyze
{
  "field": "name",
  "text": "hello java"
}

ES自带分词器如下：

NameDescription
standard默认分词器，按词切分，支持多语言，小写处理
simple按照非字母切分，小写处理
whitespace按照空格切分
stop相比simple 多了stop word处理（语气2组词等修饰性的词语，比如the、an、的、这等等）
keyword不分词，直接将输入作为一个单词输出
pattern通过正则表达式自定义分割符，默认是\W+, 即非字词的符号作为分隔符

5.4 中文分词器

中文分词器是将一个汉字序列切分成一个一个单独的词。在英语中，单词之间是以空格作为自然分界符，汉语中词没有一个形式上的分界符。上下文不同，分词结果迥异，比如交叉歧义问题，比如下面两种分词都合理:

  • 乒乓球拍/卖/完了
  • 乒乓球/拍卖/完了

常用分词系统

  1. IK
  • jieba

IK的使用

  1. 安装
  • git clone https://github.com/medcl/elasticsearch-analysis-ik
  • cd elasticsearch-analysis-ik
  • mvn clean
  • mvn compile
  • mvn package
  • 拷贝和解压release下的文件: #{project_path}/elasticsearch-analysis-ik/target/releases/elasticsearch-analysis-ik-*.zip 到你的 elasticsearch 插件目录, 如: plugins/ik 重启elasticsearch
  • 测试
POST _analyze
{
  "analyzer": "ik_smart",
  "text": "中华人民共和国国歌"
}
POST _analyze
{
  "analyzer": "ik_max_word",
  "text": "中华人民共和国国歌"
}
  1. ik_smart与ik_max_word的区别
    ik_max_word: 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合，适合 Term Query；
    ik_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”，适合 Phrase 查询

注意: 在config文件夹下面有很多扩展词的配置

6 Mapping（文档映射）

ES的文档映射(mapping)机制用于进行字段类型确认(字段是什么类型，什么分词器)，将每个字段匹配为一种确定的数据类型。类似于数据库的表结构定义，主要作用如下：

  1. 定义Index下的字段名(Field Name)
  2. 定义字段的类型，比如数值型、字符串型、布尔型等
  3. 定义倒排索引相关配置，比如是否索引、记录position等

查看某个Index的Mapping

GET woniu47/_mapping

6.1 自定义Mapping

创建一个Index的映射

PUT woniu48
{
  "mappings": {
    "properties": {
      "name": {
        "type": "keyword"
      },
      "age": {
        "type": "integer"
      },
      "desc": {
        "type": "text",
        "analyzer": "ik_smart"
      }
    }
  }
}

Mapping中的字段类型一旦设定后，禁止直接修改，因为Lucene实现的倒排索引生成后不允许修改

通过dynamic参数来控制字段的新增

  • true(默认)允许自动新增字段
  • false 不允许自动新增字段，但是文档可以正常写入，但无法对字段进行查询等操作
  • strict 文档不能写入，报错
PUT woniu48
{
  "mappings": {
    "dynamic": "false",
    "properties": {
      "name": {
        "type": "keyword"
      },
      "age": {
        "type": "integer"
      },
      "desc": {
        "type": "text",
        "analyzer": "ik_smart"
      }
    }
  }
}

copy_to

  • 将该字段的值复制到目标字段，实现类似_all的作用
  • 不会出现在_source中，只用来搜索
PUT woniu48
{
  "mappings": {
    "dynamic": "false",
    "properties": {
      "name": {
        "type": "keyword",
        "copy_to": "full_name"
      },
      "age": {
        "type": "integer"
      },
      "desc": {
        "type": "text",
        "analyzer": "ik_smart",
        "copy_to": "full_name"
      },
      "full_name": {
        "type": "text"
      }
    }
  }
}

index

  • 控制当前字段是否索引，默认为true，即记录索引，false不记录，即不可搜索
PUT woniu48
{
  "mappings": {
    "dynamic": "false",
    "properties": {
      "name": {
        "type": "keyword",
        "index": false
      },
      "age": {
        "type": "integer"
      },
      "desc": {
        "type": "text",
        "analyzer": "ik_smart",
        "copy_to": "full_name"
      }
    }
  }
}

name字段不能够用来搜索

null_value

  • 当字段遇到null值时的处理策略，默认为null，即空值，此时ES会忽略该值，不会创建索引。可以通过设定该值得一个空值的替换值来对空值进行索引，可以用替换值进行对空值的搜索
PUT woniu48
{
  "mappings": {
    "properties": {
      "name": {
        "type": "keyword"
      },
      "age": {
        "type": "integer"
      },
      "desc": {
        "type": "text",
        "analyzer": "ik_smart"
      },
      "sex": {
        "type": "keyword",
        "null_value": "null"
      }
    }
  }
}

使用null替换了空值，下面添加一个空值

PUT woniu48/_doc/1
{
  "name": "zs",
  "age": 23,
  "desc": "中国人很好",
  "sex": null
}

可以使用替换的null值来进行空值搜索

GET woniu48/_search
{
  "query": {
    "match": {
      "sex": "null"
    }
  }
}

ignore_above

  • 该属性是keyword类型的一个属性，用来规定字段值长度，超出这个长度的字段将不会被索引，但是会存储。
PUT woniu48
{
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "fields": {
          "pinyin": {
            "type": "keyword",
            "ignore_above": 5 
          }
        }
      },
      "age": {
        "type": "integer"
      }
    }
  }
}

多字段特性 multi-fields

  • 允许对同一个字段采用不同的配置，比如分词，常见的例子如一个字段我需要通过索引分词查询也需要能够通过精装匹配查询
PUT woniu48
{
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "fields": {
          "pinyin": {
            "type": "keyword"
          }
        }
      },
      "age": {
        "type": "integer"
      }
    }
  }
}

index_options

用来控制倒排索引记录的内容

  • docs: 只记录doc id
  • freqs : 记录doc id和term frequencies
  • positions: 记录doc id、term frequencies和term position
  • offsets: 记录doc id、term frequencies、term position和character offsets

text类型默认配置为positions，其他默认为docs，记录内容越多，占用空间越大

6.2 数据类型

  1. 核心数据类型
  • 字符串型: text、keyword
  • 数值型: long、integer、short、byte、double、float、half_float、scaled_float
  • 日期类型: date
  • 布尔类型: boolean
  • 二进制类型: binary
  • 范围类型: integer_range、float_range、long_range、double_range、date_range
  • 复杂数据类型
  • 数组类型: array
  • 对象类型: object
  • 嵌套类型: nested object
  • 地理位置数据类型
  • geo_point
  • geo_shape
  • 专用类型
  • ip: 记录IP地址
  • completion: 实现自动补全
  • token_count: 记录分词数
  • murmur3: 记录字符串hash值

6.3 Dynamic Mapping(自动映射)

ES在没有配置Mapping的情况下新增文档，ES可以自动识别文档字段类型，并动态生成字段和类型的映射关系。

ES是依靠JSON文档的字段类型来实现自动识别字段类型，支持的类型如下：

JSON类型ES类型
null忽略
booleanboolean
浮点类型float
整数long
objectobject
array由第一个非null值得类型决定
string匹配为日期格式则设为date类型（默认开启）;
匹配为数字的话设为float或long类型（默认关闭）设为text类型，并附带keyword子字段

创作不易，更多技术书籍，IT网课，请关注vx公众号

豆萌萌 网课大咖

你的支持，我的动力

7 DSL查询

由ES提供丰富且灵活的查询语言叫做DSL查询(Query DSL)。将查询语句通过http request body发送到ES，主要包含如下参数:

  • query符合Query DSL语法的查询语句
  • from、size
  • timeout
  • sort
  • 。。。

例如：

GET woniu48/_search
{
  "query": {
    "term": {
      "name": "lisi"
    }
  }
}

基于JSON定义的查询语言，主要包含如下两种类型

  1. 字段类查询
    如term、match、range等，只针对某一个字段进行查询
  2. 复合查询
    如bool查询等，包含一个或多个字段类查询或则复合查询语句

7.1 字段类查询

字段类查询主要包括以下两类：

  1. 全文匹配
  • 针对text类型的字段进行全文检索，会对查询语句先进行分词处理，如match、match_phrase等query类型
  • 单词匹配
  • 不会对查询语句做分词处理，直接匹配字段的倒排索引，如term、terms、range等query类型

全文匹配(Match Query)

GET woniu48/_search
{
  "query": {
    "match": {
      "username": "alfred way"
    }
  }
}

Match Query流程

通过operator参数可以控制单词间的匹配关系，可选项为or或则and

GET woniu48/_search
{
  "query": {
    "match": {
      "desc": {
        "query": "非常漂亮",
        "operator": "and"
      }
    }
  }
}

上面查询如果分词器分词为“非常”、“漂亮”两个词，查询匹配结果就必须同时包含这两个词的文档

单词匹配(Term Query)

GET woniu48/_search
{
  "query": {
    "term": {
      "name": "lisi"
    }
  }
}

一次传入多个单词进行查询

GET woniu48/_search
{
  "query": {
    "terms": {
      "name": [
        "lisi",
        "wangmazi"
      ]
    }
  }
}

Range Query(范围查询)

GET woniu48/_search
{
  "query": {
    "range": {
      "age": {
        "gte": 20,
        "lte": 23
      }
    }
  }
}

7.2 复合查询

复合查询是指包含字段类查询或复合查询的类型，主要包括以下几类：

  1. constant_score query
  2. bool query *
  3. dis_max query
  4. function_score query
  5. boosting query

Bool Query

布尔查询由一个或多个布尔子句组成，主要包含如下4个：

NameDescription
filter只过滤符合条件的文档，不计算相关性得分
must文档必须复合must中的所有条件，会影响相关性得分
must_not文档必须不符合must_not中的所有条件
should文档可以符合should中的条件，会影响相关性得分
  1. FilterFilter查询只过滤符合条件的文档，不会进行相关性算分
  • ES针对Filter会有智能缓存，因此其执行效率很高
  • 做简单匹配查询且不考虑算分时，推荐使用filter替代query等
GET woniu48/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "term": {
            "name": "admin"
          }
        },
        {
          "range": {
            "age": {
              "gte": 25
            }
          }
        }
      ]
    }
  }
}
  1. must
GET woniu48/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "desc": "漂亮的人"
          }
        },
        {
          "range": {
            "age": {
              "gte": 22
            }
          }
        }
      ]
    }
  }
}
  1. must_not
    查询描述里面经过分词有“漂亮”一词以及不带“非常”一词的结果
GET woniu48/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "desc": "漂亮的人"
          }
        }
      ],
      "must_not": [
        {
          "match": {
            "desc": "非常好"
          }
        }
      ]
    }
  }
}
  1. should
  • 只包含should时，文档必须至少满足一个条件（minimun_should_match可以控制满足条件的个数或则百分比）
    例如：下面至少满足一个条件
GET woniu48/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "desc": "漂亮的人"
          }
        },
        {
          "range": {
            "age": {
              "lte": 20
            }
          }
        }
      ]
    }
  }
}
    • 例如：下面需要满足两个条件
GET woniu48/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "desc": "漂亮的人"
          }
        },
        {
          "range": {
            "age": {
              "lte": 20
            }
          }
        }
      ],
      "minimum_should_match": 2
    }
  }
}
    • 同时包含should和must时，文档不必满足should中的条件，但是如果满足条件，会增加相关性得分
      该查询只会以must匹配来搜索
GET woniu48/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "range": {
            "age": {
              "lte": 19
            }
          }
        }
      ],
      "must": [
        {
          "match": {
            "desc": "漂亮的人"
          }
        }
      ]
    }
  }
}
  1. 综合实例
    查询年龄大于20并且包含“漂亮的人”描述或则年龄小于18的学员，分页显示第2页，每页显示2条，且按照年龄由低到高排序
GET woniu48/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "bool": {
            "must": [
              {
                "match": {
                  "desc": "漂亮的人"
                }
              },
              {
                "range": {
                  "age": {
                    "gte": 20
                  }
                }
              }
            ]
          }
        },
        {
          "range": {
            "age": {
              "lte": 18
            }
          }
        }
      ]
    }
  },
  "from": 2,
  "size": 2,
  "sort": [
    {
      "age": {
        "order": "desc"
      }
    }
  ]
}

8 SpringBoot集成

可以通过Spring Data Elasticsearch来进行操作，boot对其进行了集成:

  1. 导包
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>
  1. 配置连接
spring:
  elasticsearch:
    rest:
      uris:
      - http://localhost:9200
  1. 注入模板对象
@Autowired
ElasticsearchOperations operations;

8.1 对象映射

ES的文档对应于Java的对象，可以通过Spring-Data-Es提供的注解来进行关联:

@Data
@Document(indexName = "woniu48")
public class Student {
    @Id
    @Field(type = FieldType.Integer,name = "id")
    private Integer id;
    @Field(type = FieldType.Keyword,name="name")
    private String name;
    @Field(type = FieldType.Integer,name="age")
    private Integer age;
    @Field(type = FieldType.Text,analyzer = "ik_max_word",name = "desc")
    private String desc;
}
  • @Document: 在类级别应用，以指示该类是映射到ES的哪一个Index。最重要的属性是：
    • indexName: 用于存储此实体的索引的名称
  • @Id: 用来标识ID
  • @Field: 在字段级别应用并定义字段的属性:
    • name: 字段名称
    • type: 字段类型
    • analyzer: 分词器

8.2 操作

保存(新增与更新)对象:

Student stu = new Student();
stu.setId(3333);
stu.setName("张三丰");
stu.setDesc("此人涨得不好看");
stu.setAge(100);
operations.save(stu);

删除对象:

//第一个参数是id
operations.delete("3333", Student.class);

查询对象:

查询有三种主要方式:

  1. 通过CriteriaQuery条件来查询，可以简单组合条件，不能分词,适用于非常简单的查询
//查询年龄在20-25之间或则名称是"admin"的学员
Criteria c = new Criteria("age").between(20, 25)
    .or("name").is("admin");            
CriteriaQuery cq = new CriteriaQuery(c);
SearchHits<Student> shs = operations.search(cq, Student.class);
System.out.println(shs.getTotalHits());
shs.getSearchHits().forEach(student -> {
    System.out.println(student.getContent().getName()+":"+student.getContent().getAge());
});
  1. 通过StringQuery来查询，直接在java这边构建查询json字符串，不推荐使用
  2. 通过NativeSearchQuery来构建复杂查询，包括bool查询等等，推荐使用
/*查询匹配非常漂亮的人或则年龄在90以上的*/
//构建NativeSearchQuery建造器
NativeSearchQueryBuilder nsqb = new NativeSearchQueryBuilder();
//构造Bool查询条件        
BoolQueryBuilder bqb = new BoolQueryBuilder();
//通过该Bool查询器构建should查询器
List<QueryBuilder> should = bqb.should();
//向should里面添加两个查询条件
should.add(new MatchQueryBuilder("desc", "非常漂亮的人"));
should.add(new RangeQueryBuilder("age").gt(90));
//注册bool查询条件
nsqb.withQuery(bqb);
//注册分页（第一页，显示3条）
nsqb.withPageable(PageRequest.of(0, 3));
//注册排序(age降序)
nsqb.withSort(SortBuilders.fieldSort("age").order(SortOrder.DESC));
//构建NativeSearchQuery
NativeSearchQuery nsq = nsqb.build();
//执行查询方法        
SearchHits<Student> shs = operations.search(nsq, Student.class);
System.out.println(shs.getTotalHits());
shs.getSearchHits().forEach(x -> {
    Student stu = x.getContent();
    System.out.println(stu.getName()+":"+stu.getDesc()+":"+stu.getAge());
});
  1. 查询结果高亮显示
//创建高亮显示器
HighlightBuilder hb = new HighlightBuilder();
//设置高亮字段
hb.field("desc");
//设置为false，匹配字段都会高亮显示
hb.requireFieldMatch(false);
//设置如何高亮显示
hb.preTags("<span style=\"color:red\">");
hb.postTags("</span>");
//设置高亮显示范围以字符为单位
hb.fragmentSize(800);
//设置高亮显示的开始位置
hb.numOfFragments(0);
NativeSearchQueryBuilder nsqb = new NativeSearchQueryBuilder();
//注册高亮显示器
nsqb.withHighlightBuilder(hb);
nsqb.withQuery(new MatchQueryBuilder("desc", "非常漂亮"));
NativeSearchQuery nsq = nsqb.build();
SearchHits<Student> shs = operations.search(nsq, Student.class);
shs.getSearchHits().forEach(x -> {
    Student stu = x.getContent();
    String desc = stu.getDesc();
    //获取高亮显示字段
    List<String> hs = x.getHighlightField("desc"); 
    if(hs != null && hs.size() > 0) desc = hs.get(0);
    System.out.println(stu.getName()+":"+desc);
});

创作不易，更多技术书籍，IT网课，请关注vx公众号

豆萌萌 网课大咖

你的支持，我的动力

豆萌萌 网课大咖
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
中间件学习笔记——ElasticSearch
weixin_47479914的博客
08-03 878
文章目录一、什么是全文索引二、ElasticSearch简介概述三、IK分词器简介四、Kibana使用-掌握DSL语句简介Spring Data 一、什么是全文索引   我们在浏览各种网页的情况下，无不例外需要涉及到搜索的需求。然而像淘宝、京东这类的大流量公司，存储的数据量达到上亿的情况下。若还是编写select语句去查询每一条记录，老板早就把你开了。在高数据量的情况下，要实现快速，哦不，迅速查询的需求，我们就要使用到全文索引。 二、ElasticSearch简介 概述   Elasticsearch
ElasticSearch入门篇（一）——简介
gxx_csdn的博客
01-03 835
刚接触ElasticSearch不久，还处于学习和探索阶段，在刚刚过去的2017年的最后一个月里，我提交了自己的毕业论文，在姚老师（姚攀的博客）的帮助下，使用ElasticSearch及其搭配的开发工具Kibana以及head实现了一个新闻搜索引擎，现把这段时间的学习过程和收获从头整理一遍，连载到ElasticSearch入门篇中，作为给自己的一个总结，也作为对姚老师的一个交代，感谢姚老师这些日子对
一起学Elasticsearch系列-写入和检索调优
BookSea的博客
01-01 1123
当涉及到大规模数据存储和检索时，Elasticsearch以其快速、高效和强大的搜索能力而闻名，并被广泛应用于各种场景，例如日志分析、全文搜索和实时数据分析。 然而，并不是只要将数据存入ES就可以立即获得最佳性能和查询效率。正如任何强大的工具一样，ES也需要进行调优，以充分发挥其潜力并满足特定业务需求。 在这篇文章中，我们将探讨ES写入调优和查询调优的关键方面，并提供一些实用的技巧和建议，帮助您优化ES集群的性能和响应速度。
Elasticsearch基础入门
Java+GO+JS全栈工程师-鹤冲天的博客：编程辅导~商务合作~技术交流
02-08 2584
Elasticsearch 是一个分布式的 RESTful 风格的分布式可扩展的准实时搜索和分析引擎，一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎。
Elasticsearch超详细笔记
最新发布
2401_85764455的博客
06-17 405
首先在IKAnalyzer.cfg.xml里面定义自定义的字典，我这里是main.dic（自己随意命名）；IK Analyzer 扩展配置用户可以在这里配置自己的扩展字典main.dic用户可以在这里配置自己的扩展停止词字典用户可以在这里配置远程扩展字典用户可以在这里配置远程扩展停止词字典3. 使用Kibana实现增删查改3.1 创建索引PUT /kak“index”:{3.2 查看索引#查看单个#查看所有3.3 添加文档“age”:23,“age”:23,
ElasticSearch学习笔记
sumatch的博客
05-22 1509
一.ES核心概念 elasticsearch 是面向文档的，一切都是 Json ES关系型数据库的对比记忆： ElasticSearch 关系型数据库 索引（indices） 数据库（database） 类型（types） 表（tables） 文档（documents） 行（rows） 字段（fields） 列（columns） elasticsearch(集群)中可以包含多个索引(数据库)，每个索引中包含多个类型(表)，每个类型中包含多个文档(行)，每个文档中包含多个字
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
做笔记\记录遇到的程序bug
03-28 2718
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
ElasticSearch入门笔记整理.xmind
04-03
ElasticSearch入门笔记整理.xmind
Elasticsearch入门学习笔记
06-28
这篇入门学习笔记将引导初学者了解如何安装、配置以及使用Elasticsearch。 首先，让我们从安装开始。要安装Elasticsearch，你可以访问官方网站（https://www.elastic.co/cn/downloads/elasticsearch）下载最新版本...
es入门操作-elasticsearch入门操作
12-27
"Elasticsearch 入门操作" Elasticsearch 是一个基于 Lucene 库的搜索引擎，提供了一个分布式、支持多用户的全文搜索引擎，具有 HTTP Web 接口和无模式 JSON 文档。所有其他语言可以使用 RESTful API 通过端口 9200...
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西，特别适合新手学习，笔记保存下来可以多看看。好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个...
Elasticsearch概述
weixin_45417821的博客
05-21 426
文章目录Elasticsearch概述Elasticsearch是什么全文搜索引擎Elasticsearch And SolrElasticsearch Or SolrElasticsearch 应用案例 Elasticsearch概述 Elasticsearch是什么 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sR9BxacL-1621602956415)(C:\Users\栾昊\AppData\Roaming\Typora\typora-user-images\ima
ES快速入门
11-20 519
https://www.jianshu.com/p/7d687c9dba4f 链接上一篇文章 ：ElasticSearch介绍 https://www.jianshu.com/p/403c9d5b1463 3 ES快速入门 ES作为一个索引及搜索服务，对外提供丰富的REST接口，快速入门部分的实例使用head插件来测试，目的是对ES的使用方法及流程有个初步的认识。 3.1 创建索引库 E...
Elasticsearch学习笔记（含知识点，安装及使用）
weixin_45866849的博客
07-28 1304
ElasticSearch 是一个分布式，高性能、高可用、可伸缩、RESTful 的搜索和数据分析引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。通常作为 Elastic Stack 的核心来使用。...
Elasticsearch入门使用教程 _1
qq_44732432的博客
02-03 998
什么是elasticsearch？一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能什么是elastic stack（ELK）？是以elasticsearch为核心的技术栈，包括beats、Logstash、kibana、elasticsearch什么是Lucene？是Apache的开源搜索引擎类库，提供了搜索引擎的核心API分词器的作用是什么？创建倒排索引时对文档分词用户搜索时，对输入的内容分词IK分词器有几种模式？ik_smart：智能切分，粗粒度。
ElasticSearch 快速入门
zhong448676206的博客
07-04 337
ElasticSearch可以把它当作一个提供了Restful风格API的Web服务器，查询语言就是请求参数，如果想快速入门，开始阶段需要多练习API的使用。后续能根据需求快速反应组织的API和查询语言再进入下一步骤ElasticSearch的思想层面的刨析（一般面试中拿高薪必备）

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值