Elasticsearch从入门到精通

已于 2024-03-03 14:07:03 修改
阅读量1.7k 收藏 31
点赞数 49
分类专栏： elasticSearch【全面概括】 文章标签： elasticsearch 大数据 搜索引擎 java spring cloud 全文检索 kibana
于 2024-02-17 23:43:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dfdg345/article/details/136101576
版权

目录

🧂1.简单介绍

🥓2.安装与下载

🌭3.安装启动es

🍿4.安装启动kibana 

🥞5.初步检索 

🧈6.进阶检索

🫓7.Elasticsearch整合 

1.简单介绍🚗🚗🚗

Elaticsearch,简称为ES, ES是一个开源的高扩展的分布式全文搜索引擎,是整个ElasticStack技术栈的核心。它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。

官方地址：来这哈

2.安装与下载🚗🚗🚗

  • 1.docker pull elasticsearch:7.4.2

在docker中使用命令拉取镜像，安装到docker

  • 2.docker pull kibana:7.4.2

安装es可视化工具

安装需要时间，莫着急哦~ 

3.安装启动es🚗🚗🚗

  •  1.创建挂载目录
mkdir -p /mydata/elasticsearch/config
mkdir -p /mydata/elasticssearch/data
  • 2.设置允许远程访问 
echo "http.host: 0.0.0.0" >> /mydata/elasticsearch/config/elasticsearch.yml
  • 3.给文件赋权限 

给elasticsearch下全部文件赋可读可写可执行的权限

chomd -R 777 /mydata/elasticsearch/
  • 4..启动elasticsearch 
docker run --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms64m -Xmx128m" -v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/elasticsearch.yml -v /mydata/elasticsearch/data:/usr/share/elasticsearch/data -v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins -d elasticsearch:7.4.2
  • --name : 容器名字
  • -p: 暴露端口、9200：访问端口，9300：做集群时内部暴露端口
  • -e "discovery.type=single-node" : 单机启动
  • -e ES_JAVA_OPTS="-Xms64m -Xmx128m" ： 初始64m，最大128m
  • -v: 将容器中的文件挂在到自己的机器上
  • -d: 启动镜像的名称 

 5.访问

端口

4.安装启动kibana 🚗🚗🚗

  • 1.查看docker对外暴露的ip
docker inspect elasticsearch | grep IPAddress
  • 2.启动kibana 
docker run --name kibana -e ELASTICSEARCH_HOSTS=http://刚刚查出来的docker暴露的ip:9200 -p 5601:5601 -d kibana:7.4.2

ELASTICSEARCH_HOSTS= “不是自己的Linux上的ip地址，而是步骤一查出来docker地址”

  • 3.访问

5.初步检索 🚗🚗🚗

5.1_cat

使用postman发送请求~，使用自己虚拟机的IP地址！！！全部为GET请求

  • 1.查看所有节点信息  /_cat/nodes
http://192.168.20.130:9200/_cat/nodes
  • 2.查看es健康状况  /_cat/health
http://192.168.20.130:9200/_cat/health
  • 3.查看主页节点  /_cat/master
http://192.168.20.130:9200/_cat/master
  • 4.查看所有索引   /_cat/indices
http://192.168.20.130:9200/_cat/indices

5.2索引一个文档（保存）

保存一个数据，保存在哪个索引的那个类型下指定用哪个唯一标识 

  • 1.使用命令保存一条记录（put/post请求、发送json）
http://192.168.20.130:9200/customer/external/1

注：

  • 1.同一个请求，发送多次，就变为修改~
  • 2.POST新增。如果不指定id,会自动生成id。指定id 就会修改这个数据，并新增版本号
  • 3.PUT可以新增可以修改。PUT必须指定id;由于PUT需要指定id,我们一般都用来做修操作，不指定id会报错。

5.3查询文档 

  • 1.发送get请求查询  customer/external/
http://192.168.20.130:9200/customer/external/1

5.4更新一个文档 

发送PSOT请求，指定哪个索引下，哪个类型下，id的是多少

  • 1.post携带update

会对比原来的数据，如果更新前后一致，则不做改变。

http://192.168.20.130:9200/customer/external/1/_update

  • 2.post不携带update 

不会对比原来的数据，直接叠加版本

http://192.168.20.130:9200/customer/external/1

  • 3.put 

和post不懈怠update一样，put可以新增也可以修改，但必须指定id

http://192.168.20.130:9200/customer/external/1

5.5删除

发送delete请求，删除那个索引、那个类型下的id

  • 1.删除某一条数据
http://192.168.20.130:9200/customer/external/1
  • 2.删除整个索引 
http://192.168.20.130:9200/customer

5.6bulk批量api 

  • 1.使用kibana批量发送

  • 2.es测试数据 

测试数据放到资源那里了，自行下载

6.进阶检索🚗🚗🚗

6.1基本检索方式

  •  1.第一种检索:检索条件直接写在路径后面
GET bank/_search?q=*&sort=account_number:asc
  • 2.第二种检索：使用请求体

使用Query DSL，提供一个可执行的Json风格的DSL

GET bank/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "balance": {
        "order": "desc"
      }
    }
  ],
  "from": 0,
  "size": 5,
  "_source": [
    "balance",
    "firstname"
  ]
}

query：代表查询条件 

sort：代表排序条件

from: 从第几条数据开始查

size：每次查出多少条数据

_source:指定命中的字段

 6.2基本语法

  • 1.match【模糊查询】

模糊检索

GET bank/_search
{
  "query": {
    "match": {
      "address": "kings"
    }
  }
}
  • 2.match_phrase【字段查询】

指定上相应的字段和对应的值，进行精确查询

GET bank/_search
{
  "query": {
    "match_phrase": {
      "address": "kings"
    }
  }
}
  • 3.multi_match【多字段查询】

多字段匹配,fileds里的字段，只要有一个匹配query的值即可，而且还是分词查

GET bank/_search
{
  "query": {
    "multi_match": {
      "query": "mill",
      "fields": ["address","city"]
    }
  }
}
  • 4.bool 【复合查询】

 must: 必须匹配

must_not: 不能匹配

should：匹不匹配都可以

GET bank/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "gender": "M"
          }
        },
        {
          "match": {
            "address": "mill"
          }
        }
      ],
      "must_not": [
        {
          "match": {
            "age": "28"
          }
        }
      ],
      "should": [
        {"match": {
          "lastname": "wallace"
        }}
      ]
    }
  }
}
  • 4.filter【结果过滤】

不计算相关性得分

GET bank/_search
{
  "query": {
    "bool": {
      "filter": {
        "range": {
          "age": {
            "gte": 18,
            "lte": 30
          }
        }
      }
    }
  }
}
  • 5.term

term是代表完全匹配，也就是精确查询，搜索前不会再对搜索词进行分词拆解。

GET bank/_search
{
  "query": {
    "term": {
        "age":28
    }
  }
}
  • 6.aggregations【执行聚合】
  • 聚合提供了从数据中分组和提取数据的能力。
  • 最简单的聚合方法大致等于SQLGROUPBY和SQL聚合函数。
  • 在Elasticsearch中,您有执行搜索返回hits (命中结果) ,并且同时返回聚合结果,把一个响应中的所有hits (命中结果)分隔开的能力。这是非常强大且有效的,您可以执行查询和多个聚合,并且在一次使用中得到各自的(任何一个的)返回结果,使用一次简洁和简化的API来避免网络往返。
GET bank/_search
{
  "query": {
    "match": {
      "address": "mill"
    }
  },
  "aggs": {
    "ageAgg": {
      "terms": {
        "field": "age",
        "size": 10
      }
    },
    "ageAvg":{
      "avg": {
        "field": "age"
      }
    },
    "balanceAvg":{
      "sum": {
        "field": "balance"
      }
    }
  },
  "size": 0
}

aggs：使用聚合函数，名称要见名知意 

avg：表示平均值

sum：表示求和

查出所有年龄分布，并且这些年龄段中M的平均薪资和F的平均薪资以及这个年龄段总体平均薪资

GET bank/_search
{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "ageAgg": {
      "terms": {
        "field": "age",
        "size": 100
      },
      "aggs": {
        "genderAgg": {
          "terms": {
            "field": "gender.keyword",
            "size": 10
          },"aggs": {
            "balanceAvg": {
              "avg": {
                "field": "balance"
              }
            }
          }
        },
        "ageBalance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

子聚合，在一个聚合函数名称下，在使用aggs聚合 

6.3Mapping

  • 1.创建映射

在创建索引时，规定字段的类型

PUT /my_index
{
  "mappings": {
    "properties": {
      "age": {"type": "integer"},
      "email": {"type": "keyword"},
      "name": {"type": "text"}
    }
  }
}
  • 2.添加新的字段映射 
PUT /my_index/_mapping
{
  "properties":{
    "employee-id":{
      "type": "keyword",
      "index": false
    }
  }
}
  • 3.更新映射

对于已经存在的映射字段，我们不能更新。更新必须创建新的索引进行数据迁移

  • 4.数据迁移

先创建出新的正确映射，然后再迁移

POST _reindex
{
  "source": {
    "index": "bank",
    "type": "account"
  },
  "dest": {
    "index": "newbank"
  }
}

source:原数据

dest：要迁移的数据

index：要迁移数据的名称

type：迁移数据的类型

6.4分词

  • 一个tokenizer (分词器)接收一个字符流,将之分割为独立的tokens (词元,通常是独立的单词），然后输出 tokens 流。
  • 例如, whitespace tokenizer 遇到空白字符时分割文本。它会将文本"Quick brown fox!" 分割为[Ouick, brown, fox]
  • 1.安装ik分词器

官网：ik分词器

解压到elasticsearch的plugins下~ ，记得重启elasticsearch！！

  • 2.测试分词效果 

  • 3.自定义分词 

3.1使用nginx配置分词，再nginx的html下创建文件夹es，并配置location

 3.2配置分词器地址

在ik分词器的配置文件中，添加分词器地址

重启elastic search~ 

7.Elasticsearch整合 🚗🚗🚗

7.1创建服务

在父工程下创建新模块作为检索服务，并导入依赖

       <!--导入es的rest-high-level-client-->
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>7.4.2</version>
        </dependency>

但是如果<elasticsearch.version>7.4.2</elasticsearch.version>不生效，jar包冲突，版本不匹配，将版本不匹配的移除，重新引入！！！ 

        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>7.4.2</version>
            <exclusions>
                <exclusion>
                    <groupId>org.elasticsearch</groupId>
                    <artifactId>elasticsearch</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.elasticsearch.client</groupId>
                    <artifactId>elasticsearch-rest-client</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-client</artifactId>
            <version>7.4.2</version>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch</artifactId>
            <version>7.4.2</version>
        </dependency>

7.2写配置

编写配置类，被容器中注入RestHighLevelClient，并写入预检请求

@Configuration
public class ElasticSearchConfig {

    public static final RequestOptions COMMON_OPTIONS;

    static {
        RequestOptions.Builder builder = RequestOptions.DEFAULT.toBuilder();
        COMMON_OPTIONS = builder.build();
    }

    @Bean
    public RestHighLevelClient esRestClient() {

        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("192.168.20.130", 9200, "http")
                )
        );
        return client;
    }
}

7.3测试

  • 1.测试保存请求，也可修改
@Test
    public void indexData() throws IOException {
        IndexRequest indexRequest = new IndexRequest("users");
        indexRequest.id("1");
        //推荐方式，将对象转换为json
        User user = new User();
        user.setUserName("会敲代码的小张");
        user.setAge(18);
        user.setGender("男");
        String jsonString = JSON.toJSONString(user);
        indexRequest.source(jsonString, XContentType.JSON);
        //执行保存
        IndexResponse index = restHighLevelClient.index(indexRequest, ElasticSearchConfig.COMMON_OPTIONS);

        //提取有用的数据
        System.out.println(index);

    }
    @Data
    class User{
        private String userName;
        private String gender;
        private Integer age;
    }
  • 2.复查检索
@Test
    public void select() throws IOException {
        //1.创建检索请求
        SearchRequest searchRequest = new SearchRequest();
        //2.指定索引
        searchRequest.indices("bank");
        //3.指定DSL检索条件
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        //3.1构造query条件
        sourceBuilder.query(QueryBuilders.matchQuery("address", "mill"));
        //3.2构造聚合条件
        //3.2.1-按照你啊年龄聚合
        TermsAggregationBuilder ageAgg = AggregationBuilders.terms("ageAgg").field("age").size(10);
        sourceBuilder.aggregation(ageAgg);
        //3.2.2-计算平均薪资
        AvgAggregationBuilder balanceAvg = AggregationBuilders.avg("balanceAvg").field("balance");
        sourceBuilder.aggregation(balanceAvg);

        System.out.println("检索条件" + sourceBuilder.toString());

        searchRequest.source(sourceBuilder);

        //4.执行检索
        SearchResponse searchResponse = restHighLevelClient.search(searchRequest, ElasticSearchConfig.COMMON_OPTIONS);

        //5.分析结果
        System.out.println("查询结果" + searchResponse.toString());
        //5.1获取查到的所有数据
        SearchHits hits = searchResponse.getHits();

        //5.2查询真正的命中记录
        SearchHit[] searchHits = hits.getHits();
        for (SearchHit hit : searchHits) {
            String sourceAsString = hit.getSourceAsString();
            Account account = JSON.parseObject(sourceAsString, Account.class);
            System.out.println("值：" + account);
        }
        //5.3获取分析信息
        Aggregations aggregations = searchResponse.getAggregations();
        Terms ageAgg1 = aggregations.get("ageAgg");
        for (Terms.Bucket bucket : ageAgg1.getBuckets()) {
            String keyAsString = bucket.getKeyAsString();
            System.out.println("年龄："+keyAsString+"===>"+bucket.getDocCount());
        }
        Avg balanceAvg1 = aggregations.get("balanceAvg");
        System.out.println("平均薪资："+balanceAvg1.getValue());


    }

会敲代码的小张
关注
专栏目录
Elasticsearch从入门到精通超详细版本（全）
码农研究僧的博客
09-03 2473
目录前言1. ES入门 前言 分布式免费开源搜索引擎 搜索的东西包括视频文章图片 将数据分为结构化数据、非结构化数据和半结构化数据 结构化数据 可以保存到关系数据库中，方便管理方便查询，但不方便扩展 非结构化数据 比如工作日志文档报表视频，不适合二维 半结构化数据 将数据和结构混合一起 介绍其概念和观点 Elasticsearch是一个分布式、搜索和数据分析引擎，集中存储数据 具体包括 Elasticsearch、 Kibana、 Beats 和 Logstash（也称为 ELK St
ElasticSearch从入门到精通：常用操作
jakpopc的博客
06-30 405
我是Jackpop，我们交个朋友吧！在前面这一部分，我已经解释了ElasticSearch的基础知识及其工作原理。在这一部分，我们将学习如何在ElasticSearch中执行搜索。在开发过程中，主要都在围绕着数据的CRUD进行处理，具体来说就是：下表将每个CRUD命令与其各自的ElasticSearch HTTP / REST命令进行了一一对应，上一篇文章中，我们学习了Kibana，接下来，就切换到Kibana的控制台。通过如下命令，创建一个flight索引： 请注意，现在群集的运行状况已从绿色变为黄色。
ElasticSearch快速入门实战
最新发布
qq_45061342的博客
09-25 1496
ElasticSearch（简称ES）是一个开源的分布式搜索和数据分析引擎，是用Java开发并且是当前最流行的开源的企业级搜索引擎，能够达到近实时搜索，它专门设计用于处理大规模的文本数据和实现高性能的全文检索。 以下是一些 Elasticsearch 的特点和优势： 分布式架构：Elasticsearch 是一个分布式系统，可以轻松地水平扩展，处理大规模的数据集和高并发的查询请求。 全文检索功能：Elasticsearch 提供了强大的全文检索功能，包括分词、词项查询、模糊匹配、多字段搜索等，并支持丰富
Elasticsearch 教程--入门
weixin_30670925的博客
10-21 364
1.1 初识 Elasticsearch 是一个建立在全文搜索引擎Apache Lucene(TM)基础上的搜索引擎，可以说 Lucene 是当今最先进，最高效的全功能开源搜索引擎框架。 但是 Lucene 只是一个框架，要充分利用它的功能，你需要使用 JAVA，并且在你的程序中集成 Lucene。更糟的是，你需要做很多的学习了解，才能明白它是如何运行的，Lucene 确实非常复杂。 E...
ElasticSearch教程——汇总
东天里的冬天
09-20 1万+
环境搭建篇 ElasticSearch教程——安装 ElasticSearch教程——安装Head插件 ElasticSearch教程——安装IK分词器插件 ElasticSearch教程——安装Kibana 基础操作 ElasticSearch教程——Kibana简单操作ES ElasticSearch教程——批量处理（mget和bulk） ElasticSearch教程—...
Elasticsearch（一、入门+SpringBoot整合ES+JavaAPI操作ES）
落日的博客
05-19 1万+
1-今日内容 初识 ElasticSearch 安装 ElasticSearch ElasticSearch 核心概念 操作 ElasticSearch ElasticSearch JavaAPI 2 初识ElasticSearch 2.1 基于数据库查询的问题 数据库搜索存在问题：性能较低、功能比较弱 2.2 倒排索引 倒排索引：将文档进行分词，形成词条和id的对应关系即为反向索引。 以唐诗为例，所处包含“前”的诗句 正向索引：由《静夜思》–>窗前明月光—>“前”字 反向索引：“前”
ElasticSearch从入门到精通
weixin_43333483的博客
08-26 812
一、认识ElasticSearch 1.1介绍ElasticSearch 我们想来看一下百度百科的介绍 （一下文中都简称ES） 官网网站地址:的地址是：https://www.elastic.co/cn/products/elasticsearch Github是：https://github.com/elastic/elasticsearch 简单来书就两点： ...
ElasticSearch从入门到精通，史上最全（持续更新，未完待续，每天一点点）
热门推荐
Null的博客
07-30 13万+
目录 1.ElasticSearch的简介 2.用数据库实现搜素的功能 3.ES的核心概念 3.1 NRT(Near Realtime)近实时 3.2 cluster集群，ES是一个分布式的系统 3.3 Node节点，就是集群中的一台服务器 3.4 index 索引（索引库） 3.5 type类型 3.6 document：文档 3.7 Field 字段 3.8 sha...
ElasticSearch入门到精通（基于ELK技术栈ElasticSearch7.8.版本）.rar
05-20
**Elasticsearch 入门到精通** Elasticsearch 是一个高度可扩展的开源全文搜索引擎，设计用于处理大量数据，提供实时分析和搜索功能。它基于 Lucene 库，但提供了更高级别的分布式、RESTful 风格的搜索和数据分析...
ElasticSearch从入门到精通--第一话（入门篇）
鸢尾_的博客
10-31 1086
ElasticSearch从入门到精通--第一话
ElasticSearch从入门到精通,详解
weixin_40988393的博客
11-16 601
1.ElasticSearch的简介 Elasticsearch的特点 1）可以作为一个大型分布式集群（数百台服务器）技术，处理PB级数据，服务大公司；也可以运行在单机上，服务小公司 2）Elasticsearch不是什么新技术，主要是将全文检索、数据分析以及分布式技术，合并在了一起，才形成了独一无二的ES；lucene（全文检索），商用的数据分析软件（也是有的），分布式数据库（mycat） 3）对用户而言，是开箱即用的，非常简单，作为中小型的应用，直接3分钟部署一下ES，就可以作为生产环境的系统来使用
[转]ElasticSearch从入门到精通，史上最全
Admans的专栏
04-05 188
ElasticSearch：智能搜索，分布式的搜索引擎是ELK的一个组成,是一个产品，而且是非常完善的产品，ELK代表的是：E就是ElasticSearch，L就是Logstach，K就是kibanaE：搜索和分析的功能L：Logstach搜集数据的功能，类似于flume（使用方法几乎跟flume一模一样），是日志收集系统K：Kibana数据可视化（分析），可以用图表的方式来去展示，文不如表，表不如图，是数据可视化平台。
Elasticsearch 教程 - 奇客谷
05-25 213
Elasticsearch 教程 Elasticsearch是一个高度可伸缩的开源全文搜索引擎。Elasticsearch让你可以快速、实时地存储、搜索和分析大量数据，它通常作为互联网应用的内部搜索引擎，为需要复杂搜索功能的应用提供支持。 下面是Elasticsearch的常用场景: 电商搜索引擎，使用Elasticsearch存储商品与品类信息，提供搜索和搜索建议功能。 日志系统，收集、...
Elasticsearch教程
随风而逝的博客
10-05 335
Elasticsearch 是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说 Lucene 是当今最先进，最高效的全功能开源搜索引擎框架。 Elasticsearch是基于Apache Lucene的搜索服务器。它由Shay Banon开发并于2010年发布。现在是由Elasticsearch BV负责维护。其最新版本是：5.2.0。 Elasticsearch是一个实时分布式和开源的全文搜索和分析引擎。 它可以从RESTful Web服务接口访问，并使用模式少JSON(Ja
ElasticSearch教程
baiofchao
01-15 850
ElasticSearch教程
Elasticsearch 教程
weixin_68651384的博客
07-03 3461
POST /索引库名/类型/id值...
es从入门到精通 jenrey
04-28
ES是指Elasticsearch，是一个开源的分布式...综上所述，ES从入门到精通的过程需要一定的时间和努力，需要通过实践来深入理解并熟练掌握各种技能。同时，可以通过网络上的资料、课程和社区来不断学习和提高自己的技能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会敲代码的小张

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值