ES快速入门

已于 2023-12-09 15:49:23 修改
阅读量144 收藏
点赞数 1
文章标签： elasticsearch 大数据 搜索引擎
于 2023-11-11 23:37:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53216033/article/details/134355841
版权

ES快速入门

目录

ES快速入门

初识ES

正向索引和倒排索引

es和mysql的概念对比

概念对比

架构

单点部署

1.部署单点es

2.部署kibana

分词器

IK分词器的拓展和停用字典

IK分词器的拓展：

索引库操作

mapping映射

创建索引库

索引库操作

文档操作

RestClient操作索引库

什么是RestClient

利用JavaRestClient实现创建、删除索引库，判断索引库是否存在

分析数据结构，定义mapping属性

初始化JavaRestClient

创建索引库

删除索引库、判断索引库是否存在

操作文档——利用JavaResyClient实现文档的CRUD

操作文档——批量导入功能

初识ES

什么是elasticsearch

elasticsearch是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容

elasticsearch结合kibana、Logstash、Beats，也就是elastic stack (ELK)。被广泛应用在日志数据分析、实时监控

elasticsearch:elk的核心，负责存储，搜索，分析数据。

logstash、beats:主要负责数据抓取

kibana:数据可视化，展示数据形成报表

正排和倒排索引

正向索引
正排索引：由文档指向关键字

文档->单词1，单词2，单词3

单词1：单词1出现次数，单词1所处位置

正排索引：适用于在搜索栏中搜索id

当用户在搜索栏中搜索关键字地时候，如果只存在正排索引，那么就需要扫描索引库中地所有文档，判断是否包含关键词，再根据打分模型进行打分，排出名次再呈现给用户。

但是这种索引结构不适用大数据量地情况

倒排索引

结构如下：

倒排索引：由关键字指向文档

单词1 ->文档1，文档2，文档3

单词2 ->文档1，文档2

倒排索引：将搜索框中地词进行搜索查询哪些文档包含这个词条，然后再查询这些文档

对文档内容分词，对词条创建索引，并记录词条所在文档的信息。查询时先根据词条查询到文档id，而后获取到文档

倒排索引中有非常重要的两个概念：

  • 文档(Document):每一条数据其实就是一个文档，比如一个网页，一个商品信息
  • 词条(Term):根据文档数据利用某种算法分词，得到的具备含义的词语就是词条

创建倒排索引是对正向索引的一种特殊处理:

  • 将每个文档的数据利用分词算法进行分词，得到词条
  • 创建表，每行的数据包含词条以及词条对应的文档id
  • 因为词条有唯一性，所以可以给词条创建索引

倒排索引的搜索流程：

以搜索华为手机为例子

  • 用户搜索华为手机
  • 对搜索内容'华为手机'进行分词，得到'华为'、'手机'两个词条
  • 去词条列表中查询文档id,得到每个词条所在的文档id:华为2,3 手机1,2
  • 根据文档id查询文档,得到id为1，2，3的文档存入结果集

es和mysql的概念对比

1：elasticsearch是面向文档存储的，可以是数据库中的一条商品数据，一个订单信息文档数据会被序列化为json格式后存储在elasticsearch中。

2：elasticsearch里的索引是相同类型的文档集合，按照文档的类型进行划分，比如给商品类型一类文档添加商品索引、用户类型的一类文档添加用户索引，有点像数据库种一个表的感觉，如图：

概念对比
  • mysql中的表对应的就是es中的索引，只不过索引是文档的集合
  • mysql中的行数据对应es中的文档，只不过文档都是JSON格式
  • mysql中的字段对应的是es中的FieId(字段)
  • mysql中的schema字段类型约束对应es中的Mapping(映射)
  • mysql中用的是SQL语句，es使用是es提供的JSON风格请求语句DSL
架构

Mysql:擅长事务类型的操作，里面有acid的原则-可以确保数据的安全和一致性

ES:擅长海量数据的搜索、分析、计算

单点部署

1.部署单点es

1.1.创建网络

因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络:

docker network create es-net

1.2这里我们采用elasticsearch的7.12.1版本的镜像，然后加载到docker镜像中

docker load -i es.tar

1.3运行docker命令，部署单点es：

```sh
docker run -d \
	--name es \
    -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
    -e "discovery.type=single-node" \
    -v es-data:/usr/share/elasticsearch/data \
    -v es-plugins:/usr/share/elasticsearch/plugins \
    --privileged \
    --network es-net \
    -p 9200:9200 \
    -p 9300:9300 \
elasticsearch:7.12.1
```

命令解释：

- `-e "cluster.name=es-docker-cluster"`：设置集群名称

- `-e "http.host=0.0.0.0"`：监听的地址，可以外网访问

- `-e "ES_JAVA_OPTS=-Xms512m -Xmx512m"`：内存大小

- `-e "discovery.type=single-node"`：非集群模式

- `-v es-data:/usr/share/elasticsearch/data`：挂载逻辑卷，绑定es的数据目录

- `-v es-logs:/usr/share/elasticsearch/logs`：挂载逻辑卷，绑定es的日志目录

- `-v es-plugins:/usr/share/elasticsearch/plugins`：挂载逻辑卷，绑定es的插件目录

- `--privileged`：授予逻辑卷访问权

- `--network es-net` ：加入一个名为es-net的网络中

- `-p 9200:9200`：端口映射配置

在浏览器中输入：http://192.168.150.101:9200 即可看到elasticsearch的响应结果

2.部署kibana

2.1部署

运行docker命令，部署kibana

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network=es-net \
-p 5601:5601  \
kibana:7.12.1

-network es-net` ：加入一个名为es-net的网络中，与elasticsearch在同一个网络中

-e ELASTICSEARCH_HOSTS=http://es:9200"`：设置elasticsearch的地址，因为kibana已经与elasticsearch在一个网络，因此可以用容器名直接访问elasticsearch

-p 5601:5601`：端口映射配置

2.2启动、kibana启动一般比较慢，需要多等待一会，可以通过命令：

docker logs -f kibana

查看运行日志，当查看到下面的日志，说明成功：

此时，在浏览器输入地址访问：http://192.168.150.101:5601，即可看到结果

分词器

es在创建倒排索引时需要对文档分词;在搜索时，需要对用户输入内容分词。但默认的分词规则对中文处理并不友好

这里我们推荐安装IK分词器

IK分词器有两种模式：

ik_smart：最粗粒度切分

ik_max_word： 最细粒度切分

#测试分词器
POST /_analyze
{
  "text": "珠海科技学院java太棒了",
  "analyzer": "ik_smart"
}

#测试分词器
POST /_analyze
{
  "text": "珠海科技学院java太棒了",
  "analyzer": "ik_max_word"
}

结果如上图所示：可以得出ik_max_word进行的切分会比ik_smart切分出的关键词更多，粒度更细

IK分词器的拓展和停用字典

IK分词器的拓展：

要拓展ik分词器的词库，只需要修改一个ik分词器目录中的config目录中的IKAnalyzer.cfg.xml文件，如下图所示：

如果要禁用某些敏感词汇，只需要在上面这个文件中添加字段，如下图所示：

上面配置的拓展词和停止词文件是在当前IKAnalyzer.cfg.xml文件所在目录下

索引库操作

mapping映射

mapping是对索引库中文档的约束，常见的mapping属性包括

  • type:字段数据类型，常见的简单类型有:
    • 字符串: text (可分词的文本)、keyword (精确值，例如:品牌、国家、ip地址)
    • 数值: long、integer、short、byte、double、float
    • 布尔: boolean
    • 日期: date
    • 对象:object
  • index:是否创建索引，默认为true
  • analyzer:使用哪种分词器
  • properties:该字段的子字段

创建索引库

ES中通过Restful请求操作索引库、文档。请求内容用DSL语句来表示。创建索引库和mapping的DSL语法如下:

索引库操作

文档操作

如果文档id不指定会随机生成

RestClient操作索引库

什么是RestClient

利用JavaRestClient实现创建、删除索引库，判断索引库是否存在

根据课前资料提供的酒店数据创建索引库，索引库名为hotel，mapping属性根据数据库结构定义。基本步骤如下:

1.导入课前资料Demo

2.分析数据结构，定义mapping属性

3.初始化JavaRestClient

4.利用JavaRestClient创建索引库

5.利用JavaRestClient删除索引库

6.利用JavaRestClient判断索引库是否存在

分析数据结构，定义mapping属性

分析出的索引定义语句如下

#酒店的mapping
PUT /hotal1
{
  "mappings": {
    "properties": {
     "id": {
       "type": "keyword"
     },
     "name": {
       "type": "text",
       "analyzer": "ik_max_word",
       "copy_to": "{all}"
     },
     "address": {
       "type": "keyword",
       "index": false
     },
     "price": {
       "type":  "integer"
     },
     "score": {
       "type": "integer"
     },
     "brand": {
       "type": "keyword",
       "copy_to": "{all}"
     },
     "city": {
       "type": "keyword"
     },
     "starName": {
       "type": "keyword"
     },
     "business": {
       "type": "keyword",
       "copy_to": "{all}"
     },
     "location": {
       "type": "geo_point"
     },
      "uri": {
       "type": "keyword",
       "index": false
     },
      "all": {
        "type": "text",
       "analyzer": "ik_max_word"
      }    
}
    }
}

提示：

ES中支持两种地理坐标数据类型:

geo_point:由纬度(latitude)和经度(longitude)确定的一个点。例如:"32.8752345,120.2981576”

geo_shape:有多个geo_point组成的复杂几何图形。例如一条直线， "LINESTRING(-77.03653 38897676，77.009051 38.889939)

 tips：字段拷贝可以使用copy_to属性将当前字段拷贝到指定字段。示例

初始化JavaRestClient

创建索引库

MAPPING_TEMPLATE代码如下：

public class HotelConstants {
    public static final String MAPPING_TEMPLATE =
            "{\n" +
                    "  \"mappings\": {\n" +
                    "    \"properties\": {\n" +
                    "     \"id\": {\n" +
                    "       \"type\": \"keyword\"\n" +
                    "     },\n" +
                    "     \"name\": {\n" +
                    "       \"type\": \"text\",\n" +
                    "       \"analyzer\": \"ik_max_word\",\n" +
                    "       \"copy_to\": \"{all}\"\n" +
                    "     },\n" +
                    "     \"address\": {\n" +
                    "       \"type\": \"keyword\",\n" +
                    "       \"index\": false\n" +
                    "     },\n" +
                    "     \"price\": {\n" +
                    "       \"type\":  \"integer\"\n" +
                    "     },\n" +
                    "     \"score\": {\n" +
                    "       \"type\": \"integer\"\n" +
                    "     },\n" +
                    "     \"brand\": {\n" +
                    "       \"type\": \"keyword\",\n" +
                    "       \"copy_to\": \"{all}\"\n" +
                    "     },\n" +
                    "     \"city\": {\n" +
                    "       \"type\": \"keyword\"\n" +
                    "     },\n" +
                    "     \"starName\": {\n" +
                    "       \"type\": \"keyword\"\n" +
                    "     },\n" +
                    "     \"business\": {\n" +
                    "       \"type\": \"keyword\",\n" +
                    "       \"copy_to\": \"{all}\"\n" +
                    "     },\n" +
                    "     \"location\": {\n" +
                    "       \"type\": \"geo_point\"\n" +
                    "     },\n" +
                    "      \"uri\": {\n" +
                    "       \"type\": \"keyword\",\n" +
                    "       \"index\": false\n" +
                    "     },\n" +
                    "      \"all\": {\n" +
                    "        \"type\": \"text\",\n" +
                    "       \"analyzer\": \"ik_max_word\"\n" +
                    "      }\n" +
                    "     \n" +
                    "       \n" +
                    "}\n" +
                    "    } ";
}
删除索引库、判断索引库是否存在

操作文档——利用JavaResyClient实现文档的CRUD

去数据库查询酒店数据，导入到hotel索引库，实现酒店数据的CRUD基本步骤如下

1.初始化JavaRestClient

2.利用JavaRestClient新增酒店数据

3.利用avaRestClient根据id查询酒店数据

4.利用lavaRestClient删除酒店数据5.利用JavaRestClient修改酒店数据

新建文档的语句如下：

文档操作的基本步骤

  • 初始化RestHighLevelClient
  • 创建XxxRequest。XXX是Index、Get、Update、Delete
  • 准备参数 (Index和Update时需要)
  • 发送请求。调用RestHighLevelClient#.xxx()方法，xxx是index、get、update、delete
  • 解析结果(Get时需要)

操作文档——批量导入功能

需求:批量查询酒店数据，然后批量导入索引库中思路

1.利用mybatis-plus查询酒店数据

2将查询到的酒店数据 (Hotel) 转换为文档类型数据 (HotelDoc)

3.利用avaRestClient中的Bulk批处理，实现批量新增文档，示例代码如下

万能幼年旅店
关注
mysql和elasticsearch（ES）的区别？
m0_63102097的博客
05-17 1576
虽然MySQL和Elasticsearch都是用于存储和检索数据的数据库系统，但它们的设计目标和适用场景有所不同。MySQL适合于需要强一致性和事务支持的应用，而Elasticsearch更适合于全文搜索、实时数据分析和日志搜索等场景。在实际应用中，通常会根据具体业务需求来选择合适的数据库系统或者组合多种数据库系统来满足不同的需求。
mysql和ES对比
苍云烟
09-30 1万+
ES数据架构的主要概念与关系数据库Mysql对比 这里写图片描述 （1）关系型数据库中的数据库（DataBase），等价于ES中的索引（Index） （2）一个数据库下面有N张表（Table），等价于1个索引Index下面有N多类型（Type）， （3）一个数据库表（Table）下的数据由多行（ROW）多列（column，属性）组成，等价于1个Type由多个文档（Document）和多Field组成。 （4）在一个关系型数据库里面，schema定义了表、每个表的字段，还有表和字段之间的关系。
ES与MySQL数据同步实现方式
F-T-er
08-20 1202
1.Elasticsearch中的酒店数据来自于mysql数据库，因此mysql数据发生改变时，Elasticsearch也必须跟着改变，这个就是Elasticsearch与mysql之间的。
Mysql和ES数据同步方案汇总
Admans的专栏
05-05 467
在实际项目开发中，我们经常将Mysql作为业务数据库，ES作为查询数据库，用来实现读写分离，缓解Mysql数据库的查询压力，应对海量数据的复杂查询。这其中有一个很重要的问题，就是如何实现Mysql数据库和ES的数据同步，今天和大家聊聊Mysql和ES数据同步的各种方案。本文主要对Mysql和ES进行数据同步的常见方案进行了汇总说明。同步双写是最简单的同步方式，能最大程度保证数据同步写入的实时性，最大的问题是代码侵入性太强。异步双写引入了消息中间件，由于MQ都是异步消费模型，所以可能出现数据同步延迟的问题。
MySQL、ES的特点和区别
weixin_41247759的博客
04-27 1万+
两者产品概述 MySQL：关系型数据库，主要面向OLTP，支持事务，支持二级索引，支持sql，支持主从、Group Replication架构模型（本文全部以Innodb为例，不涉及别的存储引擎）。 ElasticSearch：ES是一款分布式的全文检索框架，底层基于Lucene实现，天然分布式，p2p架构，不支持事务，采用倒排索引提供全文检索。 存储方式 M...
【系统架构设计 每日一问】一 在单表查询的情况下，ES快还是mysql快
MaoLin Tian's Blog
07-20 801
对于简单的单表等值查询，且数据量不大时，MySQL的查询速度可能更快。对于包含大量文本字段的复杂查询或大数据量下的查询，ES的查询速度通常优于MySQL。因此，在单表查询的情况下，ES和MySQL哪个更快并没有绝对的答案。它取决于具体的查询类型、数据量大小、索引策略和系统配置等多个因素。在实际应用中，应根据具体需求选择合适的数据库系统。
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西，特别适合新手学习，笔记保存下来可以多看看。好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个...
Elasticsearch快速入门：基础配置与使用示例
07-01
### Elasticsearch快速入门：基础配置与使用示例 #### Elasticsearch 简介 Elasticsearch 是一个基于 Apache Lucene 的开源搜索引擎。它具有分布式、实时搜索和分析能力，并且支持高可用性和容错性。Elasticsearch...
elasticsearch快速入门指南.pdf
最新发布
09-10
elasticsearch快速入门指南
SpringBoot2.x：Elasticsearch快速入门
01-27
Elasticsearch是一个基于Lucene的搜索服务器，Elasticsearch也是使用Java编写的，它的内部使用Lucene做索引与搜索，但是它的目的是使用全文检索变得简单，通过隐藏Lucene的复杂性，取而代之的提供一套简单一致的...
Elasticsearch快速入门1
08-04
简介Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式的全文搜索引擎，基于restful web接口。Elasticsearch是
堪称史上最全ES语法教程，Elasticsearch语法和MySQL对比使用教程
09-29 3381
Elasticsearch语法和MySQL对比使用教程 本人刚刚毕业参加工作不久，因为工作的需要学习了一下ES，因为做后端的都会使用数据库，都会写sql语句，所以在此整理了一下ES和MySQL语法的对比，记录一下自己的学习笔记，如果帮到你了，请评论支持一下，感谢。 ES语法基本操作，满满的干货，没有废话。不像别的博主说一些原理性的东西，因为我也不太懂，用就完了，大家来搜语法也只是想知道怎么用，没人想去知道原理性的东西 假设现在有一张wk_single_customer表，下面所有的语法都是对这张表进行操
ik分词器与mysql_[数据库]IK分词器的安装与使用
weixin_34977617的博客
02-10 489
[数据库]IK分词器的安装与使用0 2020-07-27 22:00:09分词器什么是IK分词器？分词：即把一段中文或者别的划分成一个个的关键字，我们在搜索时会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一个匹配操作，Elasticsearch的标准分词器，会将中文分为一个一个的字，而不是词，比如：“石原美里”会被分为“石”、“原”、“美”、“里”，这显然是...
分布式搜索引擎(es)的基本操作以及与mysql对比
qq_59123638的博客
01-02 605
elasticsearch的基本CRUD以及库的基本操作，附加上与mysql的各项属性对比
ES和Mysql对比
weixin_43831204的博客
12-03 986
ES与MySQL概念对比
Jaylon Wang的专栏
02-06 2192
ES与MySQL概念对比 通过概念对比，能更好的理解ES的一些概念和术语。 MySQL Elasticsearch Table Index Row Document Column Field Schema Mapping SQL DSL MySQL建表 CREATE TABLE `blog` ( `id` int(20) D...
mysql 与elasticsearch实时同步常用插件及优缺点对比
热门推荐
铭毅天下Elasticsearch
06-27 1万+
1. 目前业界有以下几个插件实现ES与Mysql的同步操作。|序号 | 插件名称 |地址 | ——:———————— :————————————————- | 1 | elasticsearch-jdbc | https://github.com/jprante/elasticsearch-jdbc | ——:———————— :————————————————- |
Elasticsearch检索实战
weixin_33775582的博客
12-05 402
首发于 樊浩柏科学院 随着公司房源数据的急剧增多，现搜索引擎 Solr 的搜索效率和建立索引效率显著降低，而 Elasticsearch 是一个实时的分布式搜索和分析引擎，它是基于全文搜索引擎 Apache Lucene 之上，接入 Elasticsearch 是必然之选。本文是我学习使用 Elasticsearch 检索的笔记。 E...
Mysql 与ES（Elastic Search）对比
Ambitiouss的博客
03-19 1万+
Mysql 1.关系型数据库，顾名思义，适用于结构化数据（数据与数据之间存在强关联）的存储和查询； 2.适用于复杂的业务逻辑控制、频繁数据更改这样的场景使用； 3.需要保证数据的原子性，可认为保证多个数据同时成功存储(不存在部分存储成功,部分数据存储失败的情况) 1.需要使用者清楚的知道自己所需要查找的数据在哪个表格，并且对内部的字段参数有所了解； 2.全表全字段检索效率较低，性能消耗大； ...
elasticsearch 快速入门
07-28
Elasticsearch是一款非常强大的开源搜索引擎，它可以帮助我们从海量数据中快速找到需要的内容。它是elastic stack（ELK）的核心组件之一，结合kibana、Logstash、Beats等工具，被广泛应用在日志数据分析、实时监控等领域。\[1\] 在Elasticsearch中，为了提高搜索的性能，它使用了倒排索引的概念。倒排索引是指将文档中的每个词都建立索引，然后通过这些索引来快速定位到包含该词的文档。当我们向Elasticsearch插入一条记录时，它会将记录中的字段建立倒排索引，以便能够快速搜索和检索数据。\[2\] 为了能够快速找到某个词，Elasticsearch使用了Term Dictionary。Term Dictionary将所有的词进行排序，并使用二分法查找词，类似于我们在学校时老师教我们使用字典的方式。这种查询方式类似于传统关系型数据库的B-Tree索引方式，但并不是Elasticsearch快速的原因。\[3\] 以上是elasticsearch的快速入门介绍。 #### 引用[.reference_title] - *1* [Elasticsearch快速入门](https://blog.csdn.net/ks_1998/article/details/121237513)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [【ElasticSearch】ElasticSearch 快速入门（精讲）](https://blog.csdn.net/m0_45067620/article/details/120377816)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值