【ElasticSearch】学习笔记（一）es的基本操作

【ElasticSearch】学习笔记（一）es的基本操作

1. 基本概念

1.1 文档和字段

es是面向文档存储的，可以是数据库中的一条商品数据，一个订单信息。文档数据会被序列化为json格式后存储在es中。

Json文档中一般包含很多的字段，类似于数据库中的列。

---

1.2 索引和映射

索引：就是相同类型的文档的集合，类似与数据库中的表。

• 所有用户文档，就可以组织在一起，称为用户的索引；
• 所有商品的文档，可以组织在一起，称为商品的索引；
• 所有订单的文档，可以组织在一起，称为订单的索引；

映射：数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息。因此，索引库中就有映射，是索引中文档的字段约束信息，类似表的结构约束。

---

1.3 概念对比

我们把mysql和es的概念做一下对比：

MySQL	Elasticsearch	说明
Table	Index	索引(index)，就是文档的集合，类似数据库的表(table)
Row	Document	文档（Document），就是一条条的数据，类似数据库中的行（Row），文档都是JSON格式
Column	Field	字段（Field），就是JSON文档中的字段，类似数据库中的列（Column）
Schema	Mapping	Mapping（映射）是索引中文档的约束，例如字段类型约束。类似数据库的表结构（Schema）
SQL	DSL	DSL是elasticsearch提供的JSON风格的请求语句，用来操作elasticsearch，实现CRUD

es和mysql往往是相互补充的关系而不是相互替代的关系。

• mysql：擅长事务类型的操作，可以确保数据的安全性和一致性。
• es：擅长海量数据的搜索，分析，计算。

所以在企业中往往是两者结合使用：

• 对安全性要求较高的写操作，使用mysql实现
• 对查询性能要求较高的搜索需求，使用es实现
• 两者再基于某种方式，实现数据的同步，保证一致性

---

1.4 分词器

分词器的作用：

• 创建倒排索引时对文档分词
• 用户搜索时，对输入的内容分词

IK分词器(支持中文)有几种模式：

• ik_smart:智能切分，粗粒度
• ik_max_word:最细切分，细粒度

IK分词器拓展词条和停用词条：

• 在ik文件夹的config目录的 IKAnalyzer.xml 文件中添加拓展词典和停用词典
• 在词典中添加拓展词条或停用词条

---

1.5 mapping映射属性

映射是对索引库中文档的约束，常见的映射属性如下所示：

• type：字段数据类型，常见的简单类型有：
  • 字符串：text(可分词的文本)、keyword(精确值，例如：品牌、过假、IP地址)
  • 数值：long、integer、short、byte、double、float
  • 布尔：boolean
  • 日期：date
  • 对象：object
• index：是否创建索引，默认为true
• analyzer：使用哪种分词器
• properties：该字段的子字段

例如下面的json文档：

{
    "age": 21,
    "weight": 52.1,
    "isMarried": false,
    "info": "黑马程序员Java讲师",
    "email": "zy@itcast.cn",
    "score": [99.1, 99.5, 98.9],
    "name": {
        "firstName": "云",
        "lastName": "赵"
    }
}

对应的每个字段映射（mapping）：

• age：类型为 integer；参与搜索，因此需要index为true；无需分词器
• weight：类型为float；参与搜索，因此需要index为true；无需分词器
• isMarried：类型为boolean；参与搜索，因此需要index为true；无需分词器
• info：类型为字符串，需要分词，因此是text；参与搜索，因此需要index为true；分词器可以用ik_smart
• email：类型为字符串，但是不需要分词，因此是keyword；不参与搜索，因此需要index为false；无需分词器
• score：虽然是数组，但是我们只看元素的类型，类型为float；参与搜索，因此需要index为true；无需分词器
• name：类型为object，需要定义多个子属性
  • name.firstName；类型为字符串，但是不需要分词，因此是keyword；参与搜索，因此需要index为true；无需分词器
  • name.lastName；类型为字符串，但是不需要分词，因此是keyword；参与搜索，因此需要index为true；无需分词器

---

2. 索引库的基本操作

采用DSL演示

2.1 创建索引库和映射

基本语法：

• 请求方式：PUT
• 请求路径：/索引库名（可自定义）
• 请求参数：mapping映射

格式：

PUT /索引库名称
{
  "mappings": {
    "properties": {
      "字段名":{
        "type": "text",
        "analyzer": "ik_smart"
      },
      "字段名2":{
        "type": "keyword",
        "index": "false"
      },
      "字段名3":{
        "properties": {
          "子字段": {
            "type": "keyword"
          }
        }
      },
      // ...略
    }
  }
}

实例：

#创建索引库
PUT /heima
{
  "mappings": {
    "properties": {
      "info":{
        "type": "text",
        "analyzer": "ik_smart"
      },
      "email":{
        "type": "keyword",
        "index": false
      },
      "name":{
        "type": "object",
        "properties": {
          "firstName":{
            "type": "keyword"
          },
          "lastName":{
            "type": "keyword"
          }
        }
      }
    }
  }
}

---

2.2 查询索引库

基本语法：

• 请求方式：GET
• 请求路径：/索引库名
• 请求参数：无

格式：

GET /索引库名

示例：

#查询
GET /heima

---

2.3 修改索引库

倒排索引结构虽然不复杂，但是数据结构一旦改变(比如改变了分词器)，就需要重新创建倒排索引，这简直是灾难。因此索引库一般创建就无法修改mapping。

虽然无法修改mapping中已有的字段，但是却可以添加新的字段到mapping中，因为这不会对倒排索引产生影响。

所以“修改索引库”实际上就是为索引库添加新字段。

基本语法：

• 请求方式：PUT
• 请求路径：/索引库名/_mapping
• 请求参数：有

格式即示例：

#修改(添加新字段)
put /heima/_mapping
{
  "properties": {
    "age":{
      "type":"integer"
    }
  }
}

---

2.4 删除索引库

基本语法：

• 请求方式：DELETE
• 请求路径：/索引库名
• 请求参数：无

格式即示例：

#删除
DELETE /heima

---

2.5 总结

对索引库的操作：

• 创建索引库：PUT /索引库名
• 查询索引库：GET /索引库名
• 删除索引库：DELETE /索引库名
• 修改索引库(添加新字段)：PUT /索引库名/_mapping

---

3. 文档操作

3.1 新增文档

语法：

POST /索引库名/_doc/文档id
{
    "字段1": "值1",
    "字段2": "值2",
    "字段3": {
        "子属性1": "值3",
        "子属性2": "值4"
    },
    // ...
}

示例：

#新增文档
POST /heima/_doc/1
{
  "info": "第一，绝不意气用事",
  "email": "134@qq.com",
  "name": {
    "firstName": "hj",
    "lastName": "z"
  }
}

---

3.2 查询文档

语法：

GET /索引库名/_doc/id

示例：

#查询
GET /heima/_doc/1

3.2.1 查询所有文档

语法：

GET /索引库名/_search

---

3.3 删除文档

语法：

DELETE /索引库名/_doc/id

示例：

#删除
DELETE /heima/_doc/1

---

3.3 修改文档

3.3.1 全量修改

**全量修改：**全量修改是直接覆盖原来的文档。

本质：

• 根据指定的id先删除文档
• 再新增一个相同id的文档

**注意：**如果根据id删除时，id不存在，第二步的新增操作依旧会执行，也就从修改变成了新增能操作。

简单来说就是“有则改之无则添加”。

语法：

PUT /索引库名/_doc/id
{
    "字段1": "值1",
    "字段2": "值2",
    // ... 略
}

示例：

#全量修改文档
PUT /heima/_doc/1
{
  "info": "第二，绝不漏判任何一件坏事",
  "email": "134@qq.com",
  "name": {
    "firstName": "hj",
    "lastName": "z"
  }
}

---

3.3.2 增量修改

**增量修改：**执行该指定id匹配的文档中的部分字段。

语法：

POST /索引库名/_update/id
{
    "doc": {
         "字段名": "新的值",
    }
}

示例：

#局部修改文档字段
POST /heima/_update/1
{
  "doc": {
    "email": "134249@qq.com"
  }
}

---

3.4 总结

文档操作：

• 创建文档：POST /索引库名/_doc/id { json文档 }
• 查询文档：GET /索引库名/_doc/id
• 删除文档：DELETE /索引库名/_doc/id
• 修改文档：
  • 全量修改：PUT /索引库名/_doc/文档id { json文档 }
  • 增量修改：POST /索引库名/_update/id { “doc”: {字段}}

---

4. RestAPI

4.1 准备工作

创建索引库，最关键的就是mapping映射，而mapping映射要考虑的信息包括：

• 字段名
• 字段数据类型
• 是否参与搜索
• 是否需要分词
• 如果分词，分词器是什么？

其中：

• 字段名、字段数据类型，可以参考数据表结构的名称和类型
• 是否参与搜索要分析业务来判断，例如图片地址，就无需参与搜索
• 是否分词呢要看内容，内容如果是一个整体就无需分词，反之则要分词
• 分词器，我们可以统一使用ik_max_word

来看下酒店数据的索引库结构:

PUT /hotel
{
  "mappings": {
    "properties": {
      "id": {
        "type": "keyword"
      },
      "name":{
        "type": "text",
        "analyzer": "ik_max_word",
        "copy_to": "all"
      },
      "address":{
        "type": "keyword",
        "index": false
      },
      "price":{
        "type": "integer"
      },
      "score":{
        "type": "integer"
      },
      "brand":{
        "type": "keyword",
        "copy_to": "all"
      },
      "city":{
        "type": "keyword",
        "copy_to": "all"
      },
      "starName":{
        "type": "keyword"
      },
      "business":{
        "type": "keyword"
      },
      "location":{
        "type": "geo_point"
      },
      "pic":{
        "type": "keyword",
        "index": false
      },
      "all":{
        "type": "text",
        "analyzer": "ik_max_word"
      }
    }
  }
}

几个特殊字段说明：

• location：地理坐标，里面包含精度、纬度
• all：一个组合字段，其目的是将多字段的值 利用copy_to合并，提供给用户搜索

地理坐标说明：

copy_to说明：

---

4.2 初始化RestClient

1）引入es的RestHighLevelClient依赖：

由于SpringBoot默认的es版本是7.6.2，所以我们需要覆盖的es版本：

<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>elasticsearch-rest-high-level-client</artifactId>
    <version>7.12.1</version>
</dependency>

2）初始化RestHighLevelClient：

编写测试方法，测试连接是否成功：

public class HotelIndexTest {
    private RestHighLevelClient client;

    @Test
    void testInit() {
        System.out.println(client);
    }

    @BeforeEach
    void setUp() {
        this.client=new RestHighLevelClient(RestClient.builder(
                HttpHost.create("http://127.0.0.1:9200")
        ));
    }

    @AfterEach
    void tearDown() throws IOException {
        this.client.close();
    }
}

---

4.3 创建索引库

创建索引库的API如下：

代码分为三步：

• 1）创建Request对象。因为是创建索引库的操作，因此Request是CreateIndexRequest。
• 2）添加请求参数，其实就是DSL的JSON参数部分。因为json字符串很长，这里是定义了静态字符串常量MAPPING_TEMPLATE，让代码看起来更加优雅。
• 3）发送请求，client.indices()方法的返回值是IndicesClient类型，封装了所有与索引库操作有关的方法。

示例：

在常量类中定义一个dsl语句：

public class HotelConstants {
    public static final String MAPPING_TEMPLATE="{\n" +
            "  \"mappings\": {\n" +
            "    \"properties\": {\n" +
            "      \"id\": {\n" +
            "        \"type\": \"keyword\"\n" +
            "      },\n" +
            "      \"name\":{\n" +
            "        \"type\": \"text\",\n" +
            "        \"analyzer\": \"ik_max_word\",\n" +
            "        \"copy_to\": \"all\"\n" +
            "      },\n" +
            "      \"address\":{\n" +
            "        \"type\": \"keyword\",\n" +
            "        \"index\": false\n" +
            "      },\n" +
            "      \"price\":{\n" +
            "        \"type\": \"integer\"\n" +
            "      },\n" +
            "      \"score\":{\n" +
            "        \"type\": \"integer\"\n" +
            "      },\n" +
            "      \"brand\":{\n" +
            "        \"type\": \"keyword\",\n" +
            "        \"copy_to\": \"all\"\n" +
            "      },\n" +
            "      \"city\":{\n" +
            "        \"type\": \"keyword\",\n" +
            "        \"copy_to\": \"all\"\n" +
            "      },\n" +
            "      \"starName\":{\n" +
            "        \"type\": \"keyword\"\n" +
            "      },\n" +
            "      \"business\":{\n" +
            "        \"type\": \"keyword\"\n" +
            "      },\n" +
            "      \"location\":{\n" +
            "        \"type\": \"geo_point\"\n" +
            "      },\n" +
            "      \"pic\":{\n" +
            "        \"type\": \"keyword\",\n" +
            "        \"index\": false\n" +
            "      },\n" +
            "      \"all\":{\n" +
            "        \"type\": \"text\",\n" +
            "        \"analyzer\": \"ik_max_word\"\n" +
            "      }\n" +
            "    }\n" +
            "  }\n" +
            "}";
}

然后在测试类中编写测试方法，实现创建索引的操作：

@Test
void createHotelIndex() throws IOException {
    //1.创建Request对象
    CreateIndexRequest request = new CreateIndexRequest("hotel");
    //2.准备请求的参数：DSL语句
    request.source(MAPPING_TEMPLATE, XContentType.JSON);
    //3.发送请求
    client.indices().create(request, RequestOptions.DEFAULT);
}

---

4.4 删除索引库

与创建索引库相比：

• 请求方式从PUT变为DELETE
• 请求路径不变
• 无请求参数

删除代码主要体现在Request对象上：

1. 创建request对象，这次是DeleteIndexRequest对象
2. 准备参数。这里是无参
3. 发送请求，改用delete方法

编写测试方法，删除索引库：

//删除索引库
@Test
void testDeleteHotelIndex() throws IOException {
    //1.创建Request对象
    DeleteIndexRequest request = new DeleteIndexRequest("hotel");
    //2.发送请求
    client.indices().delete(request, RequestOptions.DEFAULT);
}

---

4.5 判断索引库是否存在

判断索引库是否存在本质上就是查询操作。

因此与删除的Java代码流程是类似的。依然是三步走：

• 1）创建Request对象。这次是GetIndexRequest对象
• 2）准备参数。这里是无参
• 3）发送请求。改用exists方法

代码如下：

//判断索引库是否存在
@Test
void testExistHotelIndex() throws IOException {
    //1.创建Request对象
    GetIndexRequest request = new GetIndexRequest("hotel");
    //2.发送请求
    boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);
    //3.输出
    System.out.println(exists ? "存在" : "不存在");
}

---

4.6 总结

JavaRestClient操作elasticsearch的流程基本类似。核心是client.indices()方法来获取索引库的操作对象。

索引库操作的基本步骤：

• 初始化RestHighLevelClient
• 创建XxxIndexRequest。XXX是Create、Get、Delete
• 准备DSL（ Create时需要，其它是无参）
• 发送请求。调用RestHighLevelClient#indices().xxx()方法，xxx是create、exists、delete

---

5. RestClient操作文档

5.1 新增文档

需求：

将数据库中的酒店信息查询出来写入es中。

思路：

我们导入酒店数据，基本流程一致，但是需要考虑几点变化：

• 酒店数据来自于数据库，我们需要先查询出来，得到hotel对象
• hotel对象需要转为HotelDoc对象
• HotelDoc需要序列化为json格式

因此，代码整体步骤如下：

• 1）根据id查询酒店数据Hotel
• 2）将Hotel封装为HotelDoc
• 3）将HotelDoc序列化为JSON
• 4）创建IndexRequest，指定索引库名和id
• 5）准备请求参数，也就是JSON文档
• 6）发送请求

实现：

在测试类中编写一个测试方法：

@Test
void testAddDocument() throws IOException {
    //根据id查询酒店数据
    Hotel hotel = hotelService.getById(36934l);
    //转换为文档类型
    HotelDoc hotelDoc = new HotelDoc(hotel);

    //1.准备Request对象
    IndexRequest request = new IndexRequest("hotel").id(hotel.getId().toString());
    //2.准备Json文档
    request.source(JSON.toJSONString(hotelDoc), XContentType.JSON);
    //3.发送请求
    client.index(request, RequestOptions.DEFAULT);
}

---

5.2 查询文档

与之前类似，也是三步走：

1. 准备Request对象。这次是查询，所以是GetRequest
2. 发送请求，得到结果。因为是查询，这里调用client.get()方法
3. 解析结果，就是对JSON做反序列化

//查询文档
@Test
void testGetDocumentById() throws IOException {
    //1.准备Request对象
    GetRequest request = new GetRequest("hotel", "36934");
    //2.发送请求
    GetResponse response = client.get(request, RequestOptions.DEFAULT);
    //3.解析结果
    String json = response.getSourceAsString();

    HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
    System.out.println(hotelDoc);
}

---

5.3 删除文档

与查询相比，删除操作仅仅是请求方式从GET变成DELETE，可以想象Java代码应该依然是三步走：

• 1）准备Request对象，因为是删除，这次是DeleteRequest对象。要指定索引库名和id
• 2）准备参数，无参
• 3）发送请求。因为是删除，所以是client.delete()方法

在测试类中编写一个测试方法:

//删除文档
@Test
void testDeleteDocument() throws IOException {
    //1.准备request
    DeleteRequest request = new DeleteRequest("hotel", "36934");
    //2.发送请求
    client.delete(request,RequestOptions.DEFAULT);
}

---

5.4 修改文档

在RestClient的API中，全量修改和新增的API完全一致，判断依据是id：

• 如果新增时，id已经存在，则修改
• 如果新增时，id不存在，则新增

所以这里的修改操作只有增量修改。

代码示例如下图：

与之前类似，也是三步走：

• 1）准备Request对象。这次是修改，所以是UpdateRequest
• 2）准备参数。也就是JSON文档，里面包含要修改的字段
• 3）更新文档。这里调用client.update()方法

在测试类中编写测试方法：

//修改文档
@Test
void testUpdateDocument() throws IOException {
    //1.准备Request
    UpdateRequest request = new UpdateRequest("hotel", "36934");
    //2.准备请求参数
    request.doc(
            "price","350",
            "starName","三钻"
    );
    //3.发送请求
    client.update(request,RequestOptions.DEFAULT);
}

---

5.5 批量导入文档

需求：

将所有的酒店数据导入到索引库中。

思路：

• 利用mybatis-plus查询酒店数据

• 将查询到的酒店数据（Hotel）转换为文档类型数据（HotelDoc）

• 利用JavaRestClient中的BulkRequest批处理，实现批量新增文档

批量处理的本质就是将多个普通的crud请求组合在一起发送。

其中提供了一个add方法，用来添加其他请求：

可以看到，能添加的请求包括：

• IndexRequest，也就是新增
• UpdateRequest，也就是修改
• DeleteRequest，也就是删除

所以Bulk中添加了多个IndexRequest，就是批量新增功能了。示例图如下：

在测试类中编写测试方法，代码示例如下：

//批量导入文档
@Test
void testBulkRequest() throws IOException {
    //批量查询酒店数据
    List<Hotel> hotels = hotelService.list();

    //1.创建Request
    BulkRequest request = new BulkRequest();
    //2.准备参数，添加多个新增的request
    for (Hotel hotel : hotels) {
        HotelDoc hotelDoc = new HotelDoc(hotel);
        request.add(new IndexRequest("hotel")
                .id(hotelDoc.getId().toString())
                .source(JSON.toJSONString(hotelDoc), XContentType.JSON));
    }
    //3.发送请求
    client.bulk(request, RequestOptions.DEFAULT);
}

---

5.6 总结

文档操作的基本步骤：

• 初始化RestHighLevelClient
• 创建XxxRequest。XXX是Index、Get、Update、Delete、Bulk
• 准备参数（Index、Update、Bulk时需要）
• 发送请求。调用RestHighLevelClient#.xxx()方法，xxx是index、get、update、delete、bulk
• 解析结果（Get时需要）

文档操作和索引库操作的区别：

• 文档操作的Request为XXXRequest，而索引库操作的是XXXIndexRequest
• 文档操作发送请求直接是 client.xxx()，而索引库操作的是 client.indices().xxx()