分布式搜索ES：一

最新推荐文章于 2024-10-06 09:52:32 发布
最新推荐文章于 2024-10-06 09:52:32 发布
阅读量37 收藏
点赞数
分类专栏： SpringCloud 文章标签： 分布式 elasticsearch 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51787352/article/details/132085920
版权

初始ES

关于es

什么是elasticsearch？

一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能

什么是elastic stack（ELK）？

是以elasticsearch为核心的技术栈，包括beats、Logstash、kibana、elasticsearch

什么是Lucene？

是Apache的开源搜索引擎类库，提供了搜索引擎的核心API

与mysql对比

MySQL

Elasticsearch

说明

Table

Index

索引(index)，就是文档的集合，类似数据库的表(table)

Row

Document

文档（Document），就是一条条的数据，类似数据库中的行（Row），文档都是JSON格式

Column

Field

字段（Field），就是JSON文档中的字段，类似数据库中的列（Column）

Schema

Mapping

Mapping（映射）是索引中文档的约束，例如字段类型约束。

类似数据库的表结构（Schema）

SQL

DSL

DSL是elasticsearch提供的JSON风格的请求语句，

用来操作elasticsearch，实现CRUD

关于搜索

什么是文档和词条？

        每一条数据就是一个文档

        对文档中的内容分词，得到的词语就是词条

什么是正向索引？

        基于文档id创建索引。查询词条时必须先找到文档，而后判断是否包含词条

什么是倒排索引？

        对文档内容分词，对词条创建索引，并记录词条所在文档的信息。查询时先根据词条查询到文档id，而后获取到文档

安装ES

因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。而互联需要让它们在同一个网络下。这里先创建一个网络：

docker network create es-net

然后将资料中的es.tar和kibana.tar上传至虚拟机中，并导入docker成镜像，之后便可以运行es和kibana了

运行ES:

docker run -d \
	--name es \
    -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
    -e "discovery.type=single-node" \
    -v es-data:/usr/share/elasticsearch/data \
    -v es-plugins:/usr/share/elasticsearch/plugins \
    --privileged \
    --network es-net \
    -p 9200:9200 \
    -p 9300:9300 \
elasticsearch:7.12.1

命令解释：

- `-e "cluster.name=es-docker-cluster"`：设置集群名称
- `-e "http.host=0.0.0.0"`：监听的地址，可以外网访问
- `-e "ES_JAVA_OPTS=-Xms512m -Xmx512m"`：内存大小
- `-e "discovery.type=single-node"`：非集群模式
- `-v es-data:/usr/share/elasticsearch/data`：挂载逻辑卷，绑定es的数据目录
- `-v es-logs:/usr/share/elasticsearch/logs`：挂载逻辑卷，绑定es的日志目录
- `-v es-plugins:/usr/share/elasticsearch/plugins`：挂载逻辑卷，绑定es的插件目录
- `--privileged`：授予逻辑卷访问权
- `--network es-net` ：加入一个名为es-net的网络中
- `-p 9200:9200`：端口映射配置

此时在浏览器中输入：http://192.168.153.100:9200 即可看到elasticsearch的响应结果：

 运行kibana：

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network=es-net \
-p 5601:5601  \
kibana:7.12.1

命令解释：

- `--network es-net` ：加入一个名为es-net的网络中，与elasticsearch在同一个网络中
- `-e ELASTICSEARCH_HOSTS=http://es:9200"`：设置elasticsearch的地址，因为kibana已经与elasticsearch在一个网络，因此可以用容器名直接访问elasticsearch
- `-p 5601:5601`：端口映射配置

成功运行后可以访问http://192.168.150.101:5601，即可看到结果

ik分词器

IK分词器包含两种模式：

* `ik_smart`：最少切分

* `ik_max_word`：最细切分

 扩展词库和禁用词库

如果想要自定义词库，可以打开IK分词器的config目录，找到IKAnalyzer.cfg.xml配置文件，在其中添加：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典 *** 添加扩展词典-->
        <entry key="ext_dict">ext.dic</entry>
        <!--用户可以在这里配置自己的扩展停止词字典  *** 添加停用词词典-->
        <entry key="ext_stopwords">stopword.dic</entry>
</properties>

然后再新建ext.dic和stopwork.dic，在这两个文件中添加要拓展或者要禁用的词即可。

添加完毕后，重启docker

docker restart es

进行测试，拓展和禁用词库成功

索引库操作

mapping属性

 创建索引库

创建索引库可依照以下格式：

PUT /索引库名称
{
  "mappings": {
    "properties": {
      "字段名":{
        "type": "text",
        "analyzer": "ik_smart"
      },
      "字段名2":{
        "type": "keyword",
        "index": "false"
      },
      "字段名3":{
        "properties": {
          "子字段": {
            "type": "keyword"
          }
        }
      },
      // ...略
    }
  }
}

 增删改查

查看索引库

GET /索引库名

删除索引库

DELETE /索引库名

修改索引库

索引库和mapping一旦创建无法修改，但是可以添加新的字段，语法如下：

PUT /索引库名/_mapping
{
  "properties": {
    "新字段名":{
      "type": "integer"
    }
  }
}

文档操作

新增文档

POST /索引库名/_doc/文档id
{
    "字段1": "值1",
    "字段2": "值2",
    "字段3": {
        "子属性1": "值3",
        "子属性2": "值4"
    },
    // ...
}

查询文档

GET /索引库名/_doc/文档id

删除文档

DELETE /索引库名/_doc/文档id

修改文档

方式一：全量修改，会删除旧文档，添加新文档，未指定的字段会被删除

PUT /索引库名/_doc/文档id
{
    "字段1": "值1",
    "字段2": "值2",
    // ... 略
}

方式二：增量修改，修改指定字段值

POST /索引库名/_update/文档id
{
    "doc": {
         "字段名": "新的值",
    }
}

RestClient操作索引库

创建索引库

1.导入数据库数据

2.引入依赖

<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>elasticsearch-rest-high-level-client</artifactId>      
</dependency>

因为springboot默认的ES版本是7.6.2，所以要覆盖掉它

    <properties>
        <java.version>1.8</java.version>
        <elasticsearch.version>7.12.1</elasticsearch.version>
    </properties>

3.初始化RestHighLevelClient

    @BeforeEach
    void setUp() {
        this.client = new RestHighLevelClient(RestClient.builder(
                HttpHost.create("http://192.168.153.100:9200")
        ));
    }

4.创建索引库

    @Test
    void createHotelIndex() throws IOException {
        // 1.创建Request对象
        CreateIndexRequest request = new CreateIndexRequest("hotel");
        // 2.准备请求的参数：DSL语句
        request.source(MAPPING_TEMPLATE, XContentType.JSON);
        // 3.发送请求
        client.indices().create(request, RequestOptions.DEFAULT);
    }

其中MAPPING_TEMPLATE是一个静态常量，声明在类constants.HotelConstants中

public class HotelConstants {
    public static final String MAPPING_TEMPLATE = "{\n" +
            "  \"mappings\": {\n" +
            "    \"properties\": {\n" +
            "      \"id\":{\n" +
            "        \"type\": \"keyword\"\n" +
            "      },\n" +
            "      \"name\":{\n" +
            "        \"type\": \"text\",\n" +
            "        \"analyzer\": \"ik_max_word\",\n" +
            "        \"copy_to\": \"all\"\n" +
            "      },\n" +
            "      \"address\":{\n" +
            "        \"type\": \"keyword\",\n" +
            "        \"index\": false\n" +
            "      },\n" +
            "      \"price\":{\n" +
            "        \"type\": \"integer\"\n" +
            "      },\n" +
            "      \"score\":{\n" +
            "        \"type\": \"integer\"\n" +
            "      },\n" +
            "      \"brand\":{\n" +
            "        \"type\": \"keyword\",\n" +
            "        \"copy_to\": \"all\"\n" +
            "      },\n" +
            "      \"city\":{\n" +
            "        \"type\": \"keyword\"\n" +
            "      },\n" +
            "      \"starName\":{\n" +
            "        \"type\": \"keyword\"\n" +
            "      },\n" +
            "      \"business\":{\n" +
            "        \"type\": \"keyword\",\n" +
            "        \"copy_to\": \"all\"\n" +
            "      },\n" +
            "      \"location\":{\n" +
            "        \"type\": \"geo_point\"\n" +
            "      },\n" +
            "      \"pic\":{\n" +
            "        \"type\": \"keyword\",\n" +
            "        \"index\": false\n" +
            "      },\n" +
            "      \"all\":{\n" +
            "        \"type\": \"text\",\n" +
            "        \"analyzer\": \"ik_max_word\"\n" +
            "      }\n" +
            "    }\n" +
            "  }\n" +
            "}";
}

然后启动测试类进行测试

在http://192.168.153.100:5601 中查询成功

 

删除索引库

    @Test
    void testDeleteHotelIndex() throws IOException {
        // 1.创建Request对象
        DeleteIndexRequest request = new DeleteIndexRequest("hotel");
        // 2.发送请求
        client.indices().delete(request, RequestOptions.DEFAULT);
    }

 

索引库是否存在

    @Test
    void testExistsHotelIndex() throws IOException {
        // 1.创建Request对象
        GetIndexRequest request = new GetIndexRequest("hotel");
        // 2.发送请求
        boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);
        // 3.输出
        System.out.println(exists ? "索引库已存在" : "索引库不存在");
    }

 

 

RestClient操作文档

1.新增文档

    @Autowired
    private IHotelService hotelService;

    private RestHighLevelClient client;

    @Test
    void testAddDocument() throws IOException {
        // 根据id查询酒店数据
        Hotel hotel = hotelService.getById(36934L);
        // 转为文档类型
        HotelDoc hotelDoc = new HotelDoc(hotel);
        
        // 1.创建Request对象
        IndexRequest request = new IndexRequest("hotel").id(hotel.getId().toString());
        // 2.准备JSON文档
        request.source(JSON.toJSONString(hotelDoc), XContentType.JSON);
        // 3.发送请求
        client.index(request, RequestOptions.DEFAULT);
    }

 

 2.查询文档

    @Test
    void testGetDocumentById() throws IOException {
        // 1.创建request对象
        GetRequest request = new GetRequest("hotel", "36934");
        // 2.发送请求，得到响应
        GetResponse response = client.get(request, RequestOptions.DEFAULT);
        // 3.解析响应结果
        String source = response.getSourceAsString();

        HotelDoc hotelDoc = JSON.parseObject(source, HotelDoc.class);
        System.out.println(hotelDoc);
    }

3.更新文档 

修改文档数据有两种方式：

方式一：全量更新。再次写入id一样的文档，就会删除旧文档，添加新文档

方式二：局部更新。只更新部分字段，这里演示方式二

    @Test
    void testUpdateDocument() throws IOException {
        // 1.创建Request对象
        UpdateRequest request = new UpdateRequest("hotel", "36934");
        // 2.准备请求参数
        request.doc(
                "price","633",
                "starName","五钻"
        );
        // 3.发送请求
        client.update(request,RequestOptions.DEFAULT);
    }

4.删除文档 

    @Test
    void testDeleteDocument() throws IOException {
        // 1.准备Request对象
        DeleteRequest request = new DeleteRequest("hotel", "36934");
        // 2.发送请求
        client.delete(request, RequestOptions.DEFAULT);

    }

5.批量增加文档

    @Test
    void testBulkRequest() throws IOException {
        // 批量查询酒店数据
        List<Hotel> hotels = hotelService.list();

        // 1.创建request对象
        BulkRequest request = new BulkRequest();
        // 2.准备参数，添加多个新增的Request
        for (Hotel hotel : hotels) {
            // 转换为文档类型HotelDoc
            HotelDoc hotelDoc = new HotelDoc(hotel);
            // 创建新增文档的request对象
            request.add(new IndexRequest("hotel")
                    .id(hotelDoc.getId().toString())
                    .source(JSON.toJSONString(hotelDoc),XContentType.JSON)
            );
        }
        // 3.发送请求
        client.bulk(request,RequestOptions.DEFAULT);
    }

 

总结

文档操作的基本步骤：

        初始化RestHighLevelClient

        创建XxxRequest。XXX是Index、Get、Update、Delete

        准备参数（Index和Update时需要）

        发送请求。调用RestHighLevelClient#.xxx()方法，xxx是index、get、update、delete

        解析结果（Get时需要）

稚白
关注
专栏目录
分布式搜索引擎ElasticSearch思维导图
11-17
分布式搜索引擎ElasticSearch思维导图，ES思维带图。分布式搜索引擎ElasticSearch思维导图，ES思维带图。分布式搜索引擎ElasticSearch思维导图，ES思维带图。分布式搜索引擎ElasticSearch思维导图，ES思维带图。...
Elasticsearch:Elasticsearch是一个实时的分布式搜索和分析引擎,
05-15
mv elasticsearch-6.2.2.zip es6.2.2 cd es6.2.2/bin elasticsearch.bat curl 安装NodeJS ElasticSearch5之前的版本安装Head插件只需要在bin目录下执行./plugin -install mobz/elasticsearch-head就可以完成安装，5...
分布式计算系列: 分布式搜索引擎与Elasticsearch
AI天才研究院
12-31 912
1.背景介绍 分布式计算系列: 分布式搜索引擎与Elasticsearch 随着互联网的发展，数据的规模不断增长，传统的搜索引擎已经无法满足用户的需求。因此，分布式搜索引擎的研究和应用得到了广泛关注。本文将介绍分布式搜索引擎的基本概念、核心算法原理、具体实现以及未来发展趋势。 1.1 分布式搜索引擎的需求 传统的搜索引擎通常是基于单机的，数据规模相对较小，能够满足基本的搜索需求。但是随着数...
elasticsearch分布式搜索引擎：版本问题
一直特立独行的猫
07-27 346
在仿牛客社区项目中，因为SpringBoot与elasticsearch版本需要匹配，所以在写项目时需要注意，以下博文是关于如何修改elasticsearch版本的，作为参考记录。
Elasticsearch 分布式搜索、分布式索引、分布式存储详解
BXA
05-30 1457
相关性评分是根据搜索请求和文档的匹配程度来计算的，用于确定搜索结果的排序顺序。通过分片和副本的机制，Elasticsearch能够提供高性能和可扩展性的搜索功能。搜索过程中的并行执行和结果合并保证了搜索的效率和准确性。Elasticsearch作为一种分布式搜索、分布式索引和分布式存储的解决方案，具备了强大的搜索能力和良好的可扩展性。可以使用Elasticsearch提供的API和工具来导入和管理数据，保证数据的一致性和完整性。可以通过调整分片和副本的数量、内存和磁盘的配置等来优化集群的性能和可靠性。
分布式搜索引擎ES-elasticsearch入门
TOMORROW6COME的博客
07-18 1499
正排索引：相当于文档中的一条条记录；例子：汉语值得学习；汉语是语言；汉语学习视频；倒排索引：起源于实际应用中需要根据属性的值来查询记录。这种索引表的每一项都包括一个属性值和包含该属性值得各个记录地址。由于不是根据记录来确定属性，而是根据属性来确定记录的位置。可以记录文档的ids，词频跟位置例子：汉语值得学习；汉语是语言；汉语学习视频；单词文档ids词频TF;位置POS汉1,2,3语1,2,3值得11:1:<3>学习1,3是21:1;<3>言2。
分布式系统与ElasticSearch:ElasticSearch在分布式系统中的应用
AI天才研究院
01-23 911
1.背景介绍 分布式系统与ElasticSearch:ElasticSearch在分布式系统中的应用 1. 背景介绍 分布式系统是一种由多个独立的计算机节点组成的系统，这些节点通过网络进行通信和协同工作。随着数据量的增加和业务需求的变化，分布式系统已经成为了现代信息技术的基石。ElasticSearch是一个基于分布式搜索和分析引擎，它可以为分布式系统提供实时、高效的搜索和分析功能。 El...
分布式搜索引擎 ElasticSearch（ES）
yueyue763184的博客
12-02 6680
elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容。elasticsearch结合、Logstash、Beats，也就是elastic stack（ELK），被广泛应用在日志数据分析、实时监控等领域。而elasticsearch是elastic stack的核心，负责存储、搜索、分析数据。
Elasticsearch：高性能分布式搜索和分析引擎
weixin_44907888的博客
09-01 584
在当今大数据时代，搜索和分析海量数据是一项关键任务。Elasticsearch 是一种流行的开源搜索和分析引擎，具有分布式、实时和高可伸缩性的特性。本博客将介绍 Elasticsearch 的核心概念、基本架构和关键功能，帮助读者了解如何构建高性能的搜索和分析引擎。Elasticsearch 是一种开源的分布式搜索和分析引擎，基于 Apache Lucene 引擎构建而成。它支持实时数据搜索、分析和存储，并具有高可用性、弹性和可扩展性。
分布式搜索引擎之Elasticsearch
CherryXieのblog
05-25 1101
Elasticsearch是一个开源的分布式搜索和分析引擎，用于处理大规模数据的搜索、分析和可视化。它是基于Apache Lucene库构建的，提供了强大的全文搜索、实时数据分析和复杂查询的功能。
Elasticsearch:分布式搜索与分析引擎
AI天才研究院
01-24 405
1.背景介绍 1. 背景介绍 Elasticsearch 是一个分布式、实时的搜索和分析引擎，基于 Lucene 库开发。它可以处理大量数据，提供快速、准确的搜索结果。Elasticsearch 的核心特点是分布式、可扩展、实时性能强。它适用于各种场景，如日志分析、实时监控、搜索引擎等。 Elasticsearch 的发展历程可以分为以下几个阶段： 2010年，Elasticsearch...
使用Elasticsearch实现分布式搜索
AI天才研究院
01-28 983
1.背景介绍 分布式搜索是现代应用程序中不可或缺的一部分，它可以帮助我们在大量数据中快速、准确地查找所需的信息。Elasticsearch是一个强大的分布式搜索和分析引擎，它可以帮助我们实现高性能、可扩展的搜索功能。在本文中，我们将深入了解Elasticsearch的核心概念、算法原理、最佳实践以及实际应用场景。 1. 背景介绍 分布式搜索是指在多个节点上分布的数据被同时搜索的过程。在大数据...
分布式全文搜索引擎:ElasticSearch,Kibana,head,IK,logstash
02-23
ES 是一个开源的高扩展的分布式全文搜索引擎，是整个Elastic Stack技术栈的核心。它可以近乎实时的存储，检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。 ElasticSearch的底层是开源库Lucene...
Elasticsearch 是一个强大的开源分布式搜索和分析引擎 它具有以下显著的特点和优势： 分布式架构：能够轻松地在多个节
07-14
Elasticsearch 是一个强大的开源分布式搜索和分析引擎，它以其卓越的性能和灵活性被广泛应用于各个行业中。下面将详细探讨它的显著特点与优势，并介绍其在不同领域的应用实例。 #### 分布式架构 Elasticsearch ...
【分布式微服务云原生】详解Redis的主从模式，主服务器挂了如何从多个从服务器选出新的主服务器
Dylaniou的博客
10-03 868
Redis的主从模式是一种数据复制机制，它允许多个Redis服务器之间进行数据同步。这种模式不仅可以提高数据的可用性和扩展性，还可以用来进行负载均衡和读写分离。Redis主从模式是一种强大的数据管理和扩展策略，适用于需要高可用性和可扩展性的场景。然而，它也需要适当的配置和管理，以确保系统的稳定性和性能。
分布式理论：拜占庭将军问题
qq_73143395的博客
10-03 1365
拜占庭将军问题是对分布式共识问题的一种情景化描述，由兰伯特于1082首次发表《The Byzantine Generals Problem》中提及，它是分布式领域最复杂的一个容错模型， 它描述了如何在存在恶意行为的情况下使分布式系统达成一致，了解拜占庭问题对于掌握分布式共识问题具有深刻意义。这个算法虽然可以保证无论叛将如何捣乱，我们都能做出一行的行为，但是这是有前提的。在兰伯特的论文中指出：如果叛将人数为m，将军人数不能少于3m+1，只有这样，口信型拜占庭将军之解才能生效。或者说，
ElasticSearch备考 -- Alias
最新发布
麦田守望者
10-06 617
别名创建三种方式，注意每种方式的适用场景在创建索引时指定别名索引模版中创建别名对已有的索引创建别名参考资料送一波福利：福利一有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！福利二福利三。
大数据分析入门概述
m0_47498690的博客
10-04 2613
本文旨在为有意向学习数据分析、数据开发等大数据方向的初学者提供一个学习指南，当然如果你希望通过视频课程的方式快速入门，B站UP主戴戴戴师兄的课程质量很高，并且适合初学者快速入门。本文的目的旨在为想要了解大数据但不知道该学习什么内容的初学者介绍大数据相关的各类工具以及各项技能。后续会按照本文提到的关键字逐条更新更详细的内容以及具体案例。SQL（Structured Query Language）是一种标准化的编程语言，用于管理关系数据库管理系统（RDBMS），如MySQL、PostgreSQL、Oracle、
项目管理-信息技术发展
GAVIN
10-04 712
对称加密：DES 3DES AES RC5 IEDA SM1 SM4。2）分类：PAN LAN MAN WAN 公用网 专用网。4）数据结构模型 层次模型 网状模型 关系模型。1)存储 分类：DAS FAS NAS SAN。物联网（IoT） 感知层 网络层 应用层。8） 5G 高速率 低时延 大连接。设备安全 数据安全 内容安全 行为安全。4.信息安全 保密性 完整性 可用性。3）网络协议 语法 语义 时许。5）IEEE 802 规范。6）TCP/IP 协议。4）网络标准协议 7层。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值