01_Elasticsearch 快速入门实战

最新推荐文章于 2023-10-23 10:52:09 发布
最新推荐文章于 2023-10-23 10:52:09 发布
阅读量145 收藏
点赞数
分类专栏： Elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42741921/article/details/116141801
版权

主要内容

  1. ElasticSearch概述
  2. ElasticSearch应用场景详解
  3. ElasticSearch环境搭建
  4. ElasticSearch常用分词技术介绍与使用
  5. ElasticSearch底层原理剖析
  6. ElasticSearch数据管理详解

1、ElasticSearch简介

1.1、ElasticSearch（简称ES）

Elasticsearch 是用Java开发并且是当前最流行的开源的企业级搜索引擎。

能够达到实时搜索，稳定，可靠，快速，安装使用方便。

客户端支持Java、.NET(C#)、PHP、Python、Ruby等多种语言。

官方网站：https://www.elastic.co
下载地址：https://www.elastic.co/cn/start

创始人：Shay Banon（谢巴农）

在这里插入图片描述

应用场景

  • 百度、谷歌、Bing的搜索引擎

  • 京东的商品搜索

    并且会将搜索关键词高亮

1.2、ElasticSearch与Lucene的关系

Lucene 被认为 迄今为止最先进、性能最好的、功能最全的搜索引擎库（框架，就像Mybatis、Hibernate一样）
但是想要使用Lucene，必须使用Java来作为开发语言并将其直接集成到你的应用中，并且Lucene的配置及使用非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。

Lucene缺点：

  • 1、只能在Java项目中使用，并且要以jar包的方式直接集成到项目中
  • 2、使用非常复杂 - 创建索引和搜索索引代码繁杂
  • 3、不支持集群环境 - 索引数据不同步（不支持大型项目）
  • 4、索引数据如果太多就不行，索引库和应用需在同一个服务器，共同占用硬盘
  • 上述Lucene的缺点，ES全部都能解决，小型的网站还是可以用Lucene

1.3 、哪些公司在使用ElasticSearch

1.京东
2.携程
3.去哪儿
4.58同城
5.滴滴
6.今日头条
7.小米
8.哔哩哔哩
9.联想
10.Github
11.微软
12.Facebook
等等...

1.4、ES vs Solr比较

Solr知名度不如ES，现在的互联网公司已经很少会问Solr

当单纯的对已有数据进行搜索时，Solr更快。

在这里插入图片描述

当实时建立索引时，Solr会产生io 阻塞，查询性能较差，Elasticsearch具有明显的优势。
在这里插入图片描述
大型互联网公司，实际生产环境测试，将搜索引擎从Solr转到 Elasticsearch 以后的平均查询速度有了50倍的提升。
在这里插入图片描述

总结：

二者安装都很简单。

1、Solr 利用 Zookeeper 进行分布式管理，而ElasticSearch 自身带有分布式协调管理功能

2、Solr 支持更多格式的数据，比如JSON、XML、CSV，而 Elasticsearch 仅支持json文件格式

3、Solr 在传统的搜索应用中表现好于 Elasticsearch，但在处理实时搜索应用时效率明显低于 Elasticsearch。

4、Solr 是传统搜索应用的有力解决方案，但 Elasticsearch 更适用于新兴的实时搜索应用。

1.4.2、 ES vs 关系型数据库

ES 的客户端Kibana

在这里插入图片描述

2、Lucene全文检索框架

2.1、什么是全文检索

全文检索是指：

  • 通过一个程序扫描文本中的每一个单词，针对单词建立索引，并保存该单词在文本中的位置、以及出现的次数
  • 用户查询是，通过之前建立好的索引来查询，讲索引中单词对应的文本位置、出现的次数返回给用户，因为有了具体文本的位置，所以就可以将具体内容读取出来了。

2.2、分词原理之倒排索引

在这里插入图片描述

倒排索引，是根据词条去找Index

3、 ElasticSearch中的核心概念

3.1 索引 index

一个索引就是一个拥有积分相似特征的文档的集合。比如说，可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引

一个索引有一个名字来标识（必须全部是小写字母），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字

3.2 映射 mapping

ElasticSearch中的映射（mapping）用来定义一个文档

mapping是处理数据的方式和规则方面做一些限制，如某个字段的数据类型、默认值、分词器、是否被索引等等，这些都是映射里面可以设置的

3.3 字段 Field

相当于是数据表的字段 | 列

3.4 字段类型 Type

每一个字段都应该有一个对应的类型，例如：Text、Keyword、Byte等

3.5 文档 document

一个文档是一个可别索引的基础信息单元，类似一条记录。文档漪JSON（Javascript Object Notation）格式来表示：

3.6 集群 cluster

一个集群就是由一个或多个节点组织在一起，他们共同持有整个的数据，并一起提供索引和搜索功能

3.7 节点 node

一个节点是集群中的一个服务器，作为集群的一部分，它存储数据，参与集群的索引和搜索功能

一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做 “elasticsearch” 的集群中。

3.8 分片和副本 shards&replicas

3.8.1 分片

一个索引可以存储超出单个节点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。

为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片。

当创建一个索引的时候，可以指定你想要的分片的数量。

每个分片本身也是一个功能完善并且独立的 “索引”，这个 “索引” 可以被放置到集群中的任何节点上。

分片很重要，主要有两方面的原因：

  • 允许水平分割/扩展你的内容容量
  • 允许在分片之上进行分布式的、并行的操作，进而提高性能/吞吐量

至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由Elasticsearch管理的，对于用户来说，这些都是透明的。

3.8.2 副本

在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是分厂有用并且是强烈推荐的。为此目的，Elasticsearch 允许你创建分片的一份或多份拷贝，这些拷贝就叫做副本。

副本之所以重要，有两个主要原因：

  • 在分片/节点失败的情况下，提供了高可用性。

    注意：副本不与主节点(original/primary) 分片置于同一个节点上是非常重要的。

  • 扩展搜索量/吞吐量，因为搜索可以在所有的副本上并行运行。

    每个索引可以被分成多个分片。一个索引有0个或者多个副本。一旦设置了副本，每个索引就有了主分片和副本分片，分片和副本的数量可以在索引。创建的时候指定 。在索引创建之后，可以在任何时候动态地改变副本的数量，但是不能改变分片的数量。

4、ElasticSearch安装

版本 ：ES7.6

参考：Linux - 安装Elasticsearch

5、客户端Kibana安装

参考：Linux - 安装Kibana

6、安装IK分词器

我们后续也需要使用Elasticsearch来进行中文分词，所以需要单独给Elasticsearch安装IK分词器插件。以下为具体安装步骤：

8、ES 数据管理

8.1 ES数据管理概述

ES是面向文档（document oriented)的，这意味着它可以存储整个对象或文档（document）。

然而它不仅仅是存储，还会索引（index）每个文档的内容使之可以被搜索。

在ES中，你可以对文档（而非成行成列的数据）进行索引、搜索、排序、过滤。

ES使用JSON作为文档序列化格式。

JSON现在已经被大多语言所支持，而且已经成为NoSQL领域的标准格式。

ES存储的一个员工文档的格式示例：

{
    "email":"1233231@qq.com",
    "name" : "张三",
    "age" : 30,
    "interests" : ["篮球","健身"]
}

8.2 基本操作

1、创建索引
格式： PUT /索引库名字

# 举例
PUT /es_db
2、查询索引
# 举例
GET /es_db
3、删除索引
DELETE /es_db
4、添加文档
# 文档相当于 数据库的行记录

格式：PUT /索引名称/类型/id
在7.x的版本后，类型只能是_doc
之前对于用户表，类型可能就叫user

# 举例
PUT /es_db/_doc/1
{
    "name": "张三",
    "sex" : 1,
    "age" : 25,
    "address": "广州天河公园",
    "remark" : "java developer"
}
PUT /es_db/_doc/2
{
    "name": "张三",
    "sex" : 1,
    "age" : 26,
    "address": "上海长风大悦城",
    "remark" : "java developer"
}
PUT /es_db/_doc/3
{
    "name": "王五",
    "sex" : 1,
    "age" : 27,
    "address": "上海嘉定新城",
    "remark" : "java developer"
}
PUT /es_db/_doc/4
{
    "name": "大琪子",
    "sex" : 2,
    "age" : 26,
    "address": "河北石家庄",
    "remark" : "traveller"
}
PUT /es_db/_doc/5
{
    "name": "兔儿",
    "sex" : 2,
    "age" : 28,
    "address": "上海顺平小区",
    "remark" : "traveller"
}
5、修改文档
# 方式一
格式 ： PUT /索引名称/类型/id

# 方式二
格式 ： POST /索引名称/类型/id

# PUT 与 POST 的区别
1、PUT 需要一个具体的资源进行操作，也就是要确定id才能进行更新/创建
POST 是可以针对整个资源集合进行操作的，如果不写id就有ES生成一个唯一id进行创建新文档，如果填了id那就针对这个id的文档进行创建/更新
2、PUT 只会将json数据都进行替换，POST只会更新相同字段的值
3、PUT 与 DELETE 都是幂等性操作，即无论操作多少次，结果都一样

在这里插入图片描述

6、查询文档
格式：GET /索引名称/类型/id
举例：GET /es_db/_doc/1
7、删除文档
格式：DELETE /索引名称/类型/id
举例：DELETE /es_db/_doc/1

9、Restful 认识

使用Restful 的好处：

  • 透明性，暴露资源存在
  • 充分利用 HTTP 协议本身语义，不同请求方式进行不用操作

10、查询操作

10.1 查询所有文档

格式 ： GET /索引名称/类型/_search
举例 ： GET /es_db/_doc/_search
SQL: select * from student

# 注意：7.x版本后，可以类型可以省略，变成 ：GET /es_db/_search

在这里插入图片描述

10.2 条件查询

格式：GET /索引名称/类型/_search?q=field:value

# 举例 ：要查询age等于26岁的 文档
GET /es_db/_doc/_search?q=age:26

# 相当于 SQL
select * from student where age = 26

10.3 范围查询

格式：GET /索引名称/类型/_search?q=field[start TO end]
注意：TO必须大写

# 举例 ：查询年龄在25到26之间的
GET /es_db/_doc/_search?q=age[25 TO 26]

# 相当于 SQL
select * from student where age between 25 and 26

10.4 根据多个ID进行查询

格式：GET /索引名称/类型/_mget

# 举例 ：查询id=4或5的
GET /es_db/_doc/_mget
{
    "ids":["4","5"]
}

# 相当于 SQL
select * from student where id in (4,5)

10.5 查询小于等于

格式：GET /索引名称/类型/_search?q=field:<=value

# 举例 ：查询年龄小于等于26的
GET /es_db/_doc/_search?q=age:<=26

# 相当于 SQL
select * from student where age <= 26

10…6 分页查询

格式：GET /索引名称/类型/_search?q=field:<=value&from=offset&size=pageSize

# 举例 ：查询年龄小于等于26的，第2条开始查，查1条
GET /es_db/_doc/_search?q=age:<=26&from=1&size=1

# 相当于 SQL
select * from student where age <= 26 limit 1,1

10.7 排序

格式：GET /索引名称/类型/_search?sort=field:desc/asc

# 举例 ：查询年龄小于等于26的，按年龄降序
GET /es_db/_doc/_search?q=age:<=26&sort=age:desc

# 相当于 SQL
select * from student where age <= 26 order by age desc

10.8 投影显示展示部分字段

格式：GET /索引名称/类型/_search?_source=field1,field2

# 举例 ：查询年龄小于等于26的，只显示name,age
GET /es_db/_doc/_search?q=age:<=26&_source=age,name

# 相当于 SQL
select name,age from student where age <= 26
BruceLv_007
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一步步带你搭建Elasticsearch环境，还看不懂？
2401_84049200的博客
04-10 327
其他的内容都可以按照路线图里面整理出来的知识点逐一去熟悉，学习，消化，不建议你去看书学习，最好是多看一些视频，把不懂地方反复看，学习了一节视频内容第二天一定要去复习，并总结成思维导图，形成树状知识网络结构，方便日后复习。这里还有一份很不错的《Java基础核心总结笔记》，特意跟大家分享出来目录：部分内容截图：《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！02499)]《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》
Elasticsearch 7.x 快速入门与实战
06-22
本套课程由浅入深，第一季课程着重对Elasticsearch 7.x的基础知识和原理进行讲解，并结合实例演示说明基础知识点以及需要注意的地方，同时本套课程也会介绍kibana以及logstash与elasticsearch的搭配使用入门，...
Elasticsearch集群
IT学院
12-04 600
今日授课目标 能够完成索引库的操作：新增、查询、删除 能够完成映射操作：配置映射，查看映射 能够完成文档的操作：新增、修改、删除 能完成请求体查询：基本查询、结果过滤、高亮查询，分页及排序 ES前置准备Lombok讲解 第一章 Elasticsearch集群 1.1 单点的问题 单台服务器，往往都有最大的负载能力，超过这个阈值，服务器性能就会大大降低甚至不可用。单点的elasticsearch也是一样，那单点的es服务器存在哪些可能出现的问题呢？ 单台机器存储容量有限 单服务器容易出现单点故障，无法实
【从入门到精通，教你如何安装ElasticSearch】Linux版本
趣学程序
06-28 4399
ElasticSearch1.elasticsearch 概述Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。它提供可扩展的搜索，具有接近实时的搜索。ES本身扩展性很好，可以扩展到上百台服务器。ES也使用Java开发并使用Lucene作为核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐...
安装ElasticSearch
dopa66666的博客
01-25 249
因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。
Elasticsearch学习及环境搭建
CoreCmd的博客
11-05 1275
0、为啥学习ES 在公司开发一段时间以来，我一直对公司提供的统一日志平台很感兴趣。在容器化部署项目时，我们都没有关心过日志打印到哪里去了，有没有落盘，之后要想查询应用日志，只需要去统一日志平台页面搜索一下就完事儿了。 但是一直没有想过这个是怎么实现的。 通过研究发现，目前的日志之所以能从日志平台搜索到，我了解的大概有2个途径： 1、日志落盘帮到某个路径下，然后采集工具（例如logstash、filebeat）采集路径下的日志数据推送给elasticsearch 2、在项目中引入统一日志平台的开发jar包依赖
Elasticsearch基础入门与安装部署
小小默：进无止境
10-23 4306
【1】Elasticsearch概述 ① 什么是全文检索 全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置。当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。全文搜索搜索引擎数据库中的数据。 ② lucene Lucene是apache软件基金会4 jak...
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西，特别适合新手学习，笔记保存下来可以多看看。好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个...
ElasticSearch7.x入门到案例实战教程
06-29
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索...
Elasticsearch从入门到实战
06-16
Elasticsearch是业界领先的海量搜索引擎，开箱即用的特性让其拥有最多的装机量。当前采用和使用Elasticsearch的企业越来越多。 本课程不仅会涉及Elasticsearch的基本安装和配置，更会对其基本操作进行详细的讲解和...
ElasticSearch实战 in Action.zip
07-01
ElasticSearch实战 in Action（原著原版）压缩包，ElasticSearch文档，ES全文检索从入门到精通，高清PDF，是学习es和精通es必备手册，能快速达到精通ElasticSearch，一册在手，ElasticSearch无忧，开发、学习、调优...
ElasticSearch安装、插件介绍及Kibana的安装与使用详解
最新发布
丨汀、的博客
10-23 1689
ElasticSearch安装、插件介绍及Kibana的安装与使用详解
Elasticsearch环境搭建
Zephyrzh的博客，关注【凡登】成为大厂技术人
04-20 5680
本文主要介绍在Linux系统下搭建Elasticsearch运行环境相关内容.受限于篇幅本次主要介绍elasticsearch单集群单节点单实例、单集群单节点多实例、单集群多节点单实例环境搭建。ES环境搭建概要参见脑图： 版本说明： LinuxCentOS7.964 bitElasticsearch-7.13.4openjdk-16+36_linux-x64 一、【单集群单节点单实例】 1、快速安装elasticsearch ...
ElasticSearch-安装部署全过程
武梓龙 廊坊师范学院信息技术提高班 十七期
08-18 2583
是一个开源的分布式搜索和分析引擎，它建立在 Apache Lucene 搜索引擎库之上。它提供了一个分布式、多租户的全文搜索引擎，具有强大的实时搜索和分析能力。Elasticsearch 是用 Java 语言编写的，并且提供了 RESTful API，使其易于集成和使用。Kibana 是一个用于数据可视化和分析的开源工具。它提供了一个直观的 Web 界面，可以通过图表、仪表盘和报表等方式展示 Elasticsearch 中的数据。Kibana 支持实时数据可视化，并提供了强大的查询和过滤功能。
Elasticsearch原理及环境搭建
Zomu_Lwl的博客
12-01 196
Elasticsearch原理及环境搭建 环境搭建 1.官网下载，下载对应的操作系统的版本,比如版本是7.3.0 https://www.elastic.co/cn/downloads/elasticsearch 2.linux或mac下进入对应解压后的目录使用bin/elasticsearch启动，window下双击bin/elasticsearch.bat的脚本启动 3.浏览器访问localhost:9200端口查看返回判断启动是否正常 4.bin/elasticsearch -d 后台启动 5.安装
Elasticsearch 实战之一：环境搭建
akenseren的博客
10-03 1918
Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库—​无论是开源还是私有。但是 Lucene 仅仅只是一个库。为了充分发挥其功能，你需要使用 Java 并将 Lucene 直接集成到应用程序中。更糟糕的是，您可能需要获得信息检索学位才能了解其工作原理。Lucene 非常 复杂。
elasticsearch集群部署搭建（一）
xgysimida的博客
07-13 2170
它能很方便的使大量数据具有搜索、分析和探索的能力。它目前被广泛地使用于各个 IT 公司。我这里选择的是1.8.0_271，JDK的安装步骤这里不做讲解。应项目需要，我这里下载的是elasticsearch-7.6.2。至此，es集群部署搭建完成，当前存在一个问题就是**JDK与es的版本兼容性，我只截取了部分，完整请。Elasticsearch 是一个。如何为es集群添加访问密码**。
elasticsearch集群的搭建-干货版
pengguoyang的博客
04-20 653
Elasticsearch 是一个流行的分布式搜索和分析引擎，可以用于搜索、分析和存储大规模数据。高可用的 Elasticsearch 集群可以保证系统的可靠性和可用性，提高系统的性能和效率。本文将介绍如何搭建 Elasticsearch 高可用集群，包括如何选择适当的硬件和软件、如何配置集群节点，如何变更版本等。
Elasticsearch关于具有可扩展性和弹性实战
07-28
为了确保你的Elasticsearch部署发挥最佳性能，以下是一些实战建议： 1. 集群规划和优化：在部署Elasticsearch集群时，需要考虑节点数量、硬件配置和数据分片等因素。合理规划集群拓扑结构，并根据负载情况进行动态...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值