ElasticSearch从入门到精通

已于 2022-03-13 11:29:36 修改
阅读量2.2k 收藏 1
点赞数
分类专栏： 数据库 文章标签： elasticsearch 搜索引擎 lucene
于 2022-03-12 21:40:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45066628/article/details/123450162
版权

Elasticsearch介绍

在这里插入图片描述

Elasticsearch是一个开源的分布式、RESTful 风格的搜索和数据分析引擎，它的底层是开源库Apache Lucene。
 
  Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库——无论是开源还是私有，但它也仅仅只是一个库。为了充分发挥其功能，你需要使用 Java 并将 Lucene 直接集成到应用程序中。 更糟糕的是，您可能需要获得信息检索学位才能了解其工作原理，因为Lucene 非常复杂。
  
  为了解决Lucene使用时的繁复性，于是Elasticsearch便应运而生。它使用 Java 编写，内部采用 Lucene 做索引与搜索，但是它的目标是使全文检索变得更简单，简单来说，就是对Lucene 做了一层封装，它提供了一套简单一致的 RESTful API 来帮助我们实现存储和检索。
  
  当然，Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎。 它可以被下面这样准确地形容：

  • 一个分布式的实时文档存储，每个字段可以被索引与搜索；
  • 一个分布式实时分析搜索引擎；
  • 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据。

什么是全⽂检索和倒排索引

什么是索引

索引就好⽐书的⽬录，如果我们想快速查看某个章节，只需要找到⽬录⾥相应章节对应的⻚数即可。
通过⽬录找到章节，通过章节找到⻚码这个过程就是索引的过程。
索引的⽬的就是加快数据搜索的效率。

什么是全⽂检索

先建⽴索引，再对索引进⾏搜索的过程就叫全⽂检索(Full-text Search)。

什么是倒排索引

索引是根据章节找到⻚数，但是如果我并不知道我要找的内容属于哪个章节，⽐如我只知道⼀个关键词，但是不知道这个关键词属于哪个章节。⼤家可以想⼀下，我们平时利⽤搜索引擎搜索的时候是不是也是这种场景呢？

⽐如我们想知道⼀个电影的名字，但是记不起来具体的名字，只知道部分关键词或者剧情的内容，那这种情景背后如何⽤技术解决呢？这时候就不得不提到倒排索引了。

举例

正常索引：
第1章 Elasticsearch介绍 第10⻚
第2章 Elasticsearch安装配置 第15⻚
第3章 Elasticsearch⾃定义配置 第20⻚

倒排索引:
关键词 章节
Elasticsearch 第1章 第2章 第3章
安装 第2章
配置 第2章 第3章
⾃定义 第3章

节点 & 集群（Node & Cluster）

Elasticsearch 本质上是一个分布式数据库，允许多台服务器协同工作，每台服务器可以运行多个Elasticsearch实例。单个Elasticsearch实例称为一个节点（Node），一组节点构成一个集群（Cluster）。

文档（Document）

Index里面单条的记录称为 Document（文档）。许多条 Document 构成了一个 Index。Document 使用 JSON 格式表示。同一个 Index 里面的 Document，不要求有相同的结构（scheme），但是最好保持相同，这样有利于提高搜索效率。

类型（Type）

Document 可以分组，比如employee这个 Index 里面，可以按部门分组，也可以按职级分组。这种分组就叫做 Type，它是虚拟的逻辑分组，用来过滤 Document，类似关系型数据库中的数据表。
  不同的 Type 应该有相似的结构（Schema），性质完全不同的数据（比如 products 和 logs）应该存成两个 Index，而不是一个 Index 里面的两个 Type（虽然可以做到）。

文档元数据（Document metadata）

文档元数据为_index, _type, _id, 这三者可以唯一表示一个文档，_index表示文档在哪存放，_type表示文档的对象类别，_id为文档的唯一标识。

字段（Fields）

每个Document都类似一个JSON结构，它包含了许多字段，每个字段都有其对应的值，多个字段组成了一个 Document，可以类比关系型数据库数据表中的字段。
  在 Elasticsearch 中，文档（Document）归属于一种类型（Type），而这些类型存在于索引（Index）中，下图展示了Elasticsearch与传统关系型数据库的类比：

在这里插入图片描述

Elasticsearch工作原理图

在这里插入图片描述
检索原理
在这里插入图片描述

Elasticsearch应⽤场景

1.搜索: 电商,百科,app搜索,搜索结果⾼亮显示
2.⽇志分析和数据挖掘,数据展示

Elasticsearch特点

1.⾼性能,天然分布式集群
2.对运维友好,不需要会java语⾔,开箱即⽤,配置⽂件精简

Elasticsearch在电商搜索的实现

cat
skuid name
1 狗粮100kg
2 猫粮50kg
3 猫罐头200g
select * from cat where name like ‘%’
Elasticsearch:
聚合运算之后得到SKUID:
1
2
拿到ID之后,mysql就只需要简单地where查询即可
mysql:
select xx from xxx where skuid 1

Elasticsearch安装

1.关闭防⽕墙和Selinux

关闭swap分区
内存 2G
iptables -nL
iptables -F
iptables -X
iptables -Z
iptables -nL
#关闭selinux
临时⽣效:
setenforce 0
getenforce
永久⽣效:
setenforce 0
vim /etc/selinux/config
SELINUX=disabled

2.下载软件

mkdir /data/soft -p
cd /data/soft/
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch7.9.1-x86_64.rpm

3.安装jdk

对于Elasticsearch7.0之后的版本不需要再独⽴的安装JDK了，软件包⾥已经⾃带了最新的JDK，所以直接启动即可。

4.安装ES

rpm -ivh elasticsearch-7.9.1-x86_64.rpm

5.启动并检查

systemctl daemon-reload
systemctl enable elasticsearch.service
systemctl start elasticsearch.service
netstat -lntup|grep 9200
curl 127.0.0.1:9200

Elasticsearch⾃定义配置

查看ES有哪些配置

[root@node-51 ~]# rpm -qc elasticsearch
/etc/elasticsearch/elasticsearch.yml #主配置⽂件
/etc/elasticsearch/jvm.options #JVM配置⽂件
/etc/init.d/elasticsearch #init启动脚本
/etc/sysconfig/elasticsearch #环境变量⽂件
/usr/lib/sysctl.d/elasticsearch.conf #内核参数⽂件
/usr/lib/systemd/system/elasticsearch.service #systemd启动⽂件

⾃定义配置⽂件

cp /etc/elasticsearch/elasticsearch.yml /opt/
cat > /etc/elasticsearch/elasticsearch.yml << 'EOF' 
node.name: node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 127.0.0.1,10.0.0.51
http.port: 9200
discovery.seed_hosts: ["10.0.0.51"]
cluster.initial_master_nodes: ["10.0.0.51"]
EOF

重启服务

systemctl restart elasticsearch.service

解决内存锁定失败

重启后查看⽇志发现提示内存锁定失败

[root@node-51 ~]# tail -f /var/log/elasticsearch/elasticsearch.log
[2020-12-17T19:34:38,132][ERROR][o.e.b.Bootstrap ] [node-1]
node validation exception
[1] bootstrap checks failed
[1]: memory locking requested for elasticsearch process but memory is
not locked

官⽹解决⽅案：[https://www.elastic.co/guide/en/elasticsearch/reference/current/settingsystem-settings.html#systemd](https://www.elastic.co/guide/en/elasticsearch/reference/current/settingsystem-settings.html#systemd)

解决命令：

systemctl edit elasticsearch
[Service]
LimitMEMLOCK=infinity
systemctl daemon-reload
systemctl restart elasticsearch.service

Elasticsearch插件安装

elasticsearch-head 介绍

elasticsearch-head是⼀款⽤来管理Elasticsearch集群的第三⽅插件⼯具。
elasticsearch-Head插件在5.0版本之前可以直接以插件的形式直接安装，但是5.0以后安装⽅式发⽣了改变，需要nodejs环境⽀持，或者直接使⽤别⼈封装好的docker镜像，更推荐的是⾕歌浏览器的插件。

elasticsearch-head的三种安装⽅式

1.npm安装⽅式
2.docker安装
3.google浏览器插件（推荐）

elasticsearch-head编译安装命令

插件官⽅地址:https://github.com/mobz/elasticsearch-head

使⽤docker部署elasticsearch-head

docker pull alivv/elasticsearch-head
docker run --name es-head -p 9100:9100 -dit elivv/elasticsearch-head

使⽤nodejs编译安装elasticsearch-head

cd /opt/
wget https://nodejs.org/dist/v12.13.0/node-v12.13.0-linux-x64.tar.xz
tar xf node-v12.13.0-linux-x64.tar.xz
mv node-v12.13.0-linux-x64 node
echo 'export PATH=$PATH:/opt/node/bin' >> /etc/profile
source /etc/profile
npm -v
node -v
git clone git://github.com/mobz/elasticsearch-head.git
unzip elasticsearch-head-master.zip
cd elasticsearch-head-master
npm install -g cnpm --registry=https://registry.npm.taobao.org
cnpm install
cnpm run start &

es-head⾕歌浏览器插件安装

更多⼯具–>拓展程序–>开发者模式–>选择解压缩后的插件⽬录

在这里插入图片描述

Elasticsearch使用

Elasticsearch提供了多种交互使用方式，包括Java API和RESTful API ，本文主要介绍RESTful API 。所有其他语言可以使用RESTful API 通过端口 9200 和 Elasticsearch 进行通信，你可以用你最喜爱的 web 客户端访问 Elasticsearch 。甚至，你还可以使用 curl 命令来和 Elasticsearch 交互。

一个Elasticsearch请求和任何 HTTP 请求一样，都由若干相同的部件组成：

curl -X<VERB> '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING>' -d '<BODY>'

返回的数据格式为JSON，因为Elasticsearch中的文档以JSON格式储存。其中，被 < > 标记的部件：

在这里插入图片描述
对于HTTP方法，它们的具体作用为：
在这里插入图片描述
我们以下面的数据为例，来展示Elasticsearch的用法。

在这里插入图片描述

Elasticsearch插⼊命令

参考官⽹地址： https://www.elastic.co/guide/en/elasticsearch/reference/current/gettingstarted-index.html

使⽤⾃定义的ID

PUT linux/_doc/1
{
 "name": "zhang",
 "age": "29"
}

使⽤随机ID

POST linux/_doc/
{
 "name": "zhang",
 "age": "29",
 "address": "BJ"
}

和mysql数据对比

mysql
id name age address job
1 lang 27 BJ it
2 ya 22 SZ it
POST linux/_doc/
{
 "id": "1",
 "name": "zhang",
 "age": "29",
 "address": "BJ",
 "job": "it"
}
POST linux/_doc/
{
 "id": "2",
 "name": "yy",
 "age": "22",
 "address": "SZ",
 "job": "it"
}

Elasticsearch查询命令

1.创建测试语句

	POST linux/_doc/
{
 "name": "zhang3",
 "age": "22",
 "address": "SZ",
 "job": "ops"
}
POST linux/_doc/
{
 "name": "li4",
 "age": "30",
 "address": "BJ",
 "job": "dev"
}
POST linux/_doc/
{
 "name": "wang5",
 "age": "24",
 "address": "BJ",
 "job": "dev"
}
POST linux/_doc/
{
 "name": "zhao6",
 "age": "35",
 "address": "SZ",
 "job": "devops"
}
POST linux/_doc/
{
 "name": "sun7",
 "age": "21",
 "address": "BJ",
 "job": "ops"
}
POST linux/_doc/
{
 "name": "jack",
 "age": "27",
 "address": "BJ",
 "job": "devops"
}
POST linux/_doc/
{
 "name": "scott",
 "age": "25",
 "address": "SZ",
 "job": "dev"
}

2.简单查询

GET linux/_search/

3.条件查询

GET linux/_search
{
"query": {
 "term": {
 "name": {
 "value": "zhang3"
 }
 }
 }
}
GET linux/_search
{
 "query": {
 "term": {
 "job": {
 "value": "ops"
 }
 }
 }
}

4.多条件查询

GET /linux/_search
{
 "query" : {
 "bool": {
 "must": [
 {"match": {"address": "BJ"}},
 {"match": {"job": "dev"}}
 ],
 "filter": {
 "range": {
 "age": {
 "gte": 27,
 "lte": 30
 }
 }
 }
 }
 }
 }
}

Elasticsearch更新命令

1.⾃定义的ID更新

PUT linux/info/1
{
 "name": "zhang",
 "age": 30,
 "job": "it",
 "id": 1
}

2.随机ID更新

创建测试数据

PUT linux/_doc/1
{
 "name": "zhang",
 "age": "30",
 "job": "it",
 "id": 2
}

先根据⾃定义的Id字段查出数据的随机ID

GET linux/_search/
{
 "query": {
 "term": {
 "id": {
 "value": "2"
 }
 }
 }
}

取到随机ID后更改数据

PUT linux/_doc/CVDdknIBq3aq7mPQaoWw
{
 "name": "tony",
 "age": 30,
 "job": "it",
 "id": 2
}
kuokay
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ElasticSearch入门到精通到运维全套资料
09-12
全套 elasticsearch从入门到精通到运维 基于ES5.6版本 有视频 文档 快速上手
[转]ElasticSearch从入门到精通，史上最全
最新发布
Admans的专栏
04-05 128
ElasticSearch：智能搜索，分布式的搜索引擎是ELK的一个组成,是一个产品，而且是非常完善的产品，ELK代表的是：E就是ElasticSearch，L就是Logstach，K就是kibanaE：搜索和分析的功能L：Logstach搜集数据的功能，类似于flume（使用方法几乎跟flume一模一样），是日志收集系统K：Kibana数据可视化（分析），可以用图表的方式来去展示，文不如表，表不如图，是数据可视化平台。
ElasticSearch入门到精通（基于ELK技术栈ElasticSearch7.8.版本）.rar
05-20
**Elasticsearch 入门到精通** Elasticsearch 是一个高度可扩展的开源全文搜索引擎，设计用于处理大量数据，提供实时分析和搜索功能。它基于 Lucene 库，但提供了更高级别的分布式、RESTful 风格的搜索和数据分析...
ES6 从入门到精通 第二部分
08-22
解构赋值允许我们从数组或对象中提取值，直接赋给变量，简化了代码。例如，可以从数组中按顺序取出值： ```javascript let [a, b, c] = [1, 2, 3]; ``` 也可以从对象中根据属性名取出值： ```javascript let {x, ...
Elasticsearch7.8X 入门到精通
04-11
001 - 开篇.mp4 002 - 技术选型.mp4 003 - 教学大纲.mp4 008 - 入门 - HTTP - 索引 - 创建.mp4 009 - 入门 - HTTP - 索引 - 查询 & 删除.mp4 010 - 入门 - HTTP - 文档 - 创建 （Put & ...025 - 入门 - JavaAPI - 文档
elasticsearch视频教程从入门到精通
04-24
elasticsearch视频教程从入门到精通，文档里面有百度网盘的地址和提取码。
ElasticSearch从入门到精通：基础知识
jakpopc的博客
06-30 471
我是Jackpop，我们交个朋友吧！你会如何处理实时或准实时数据流？在大数据时代，有很多方案可以帮助你完成这项任务。接下来，我将通过一个系列的教程，我将利用Storm、Kafka、ElasticSearch逐步教你搭建一个实时计算系统。搭建系统之前，我们首先需要了解一些定义。通过考虑四个不同的属性，帮助你更好地理解大数据：数据量，速度，多样性和准确性。存在具有不同用途的大数据工具：数据处理工具可进一步分类为：批处理流梳理我们将使用一些实际数据来数据规约系统（DRS）。根据维基百科，“数据规约是将数字或字母数
ElasticSearch从入门到精通（一）
边博磊的博客
09-21 661
•ElasticSearch是一个基于Lucene的搜索服务器 •是一个分布式、高扩展、高实时的搜索与数据分析引擎
Elasticsearch从入门到精通
ityw520的博客
11-24 1405
1、Elasticsearch简介 Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 但是，Lucene只是一个库。想要发挥其强大的作用，你需使用Java并要将其集成到你的应用中。Lucene非常复杂，你需要深入的了解检索相关知识来理解它是如何工作的。 Elasticsearch也是使用Java编写并使用Lucene来建立索引并实现搜索功能，但是它的目的是通过简单连贯..
ElasticSearch从入门到精通(简介和安装)
ludongguoa的博客
11-04 159
ElasticSearch简介 ElasticSearch（ES）是基于Lucene构建的开源、分布式近实时的数据搜索和分析引擎。通过ES可以实时的完成大量数据的存储、搜索和分析等工作，而其分布式的特点使得通过简单添节点就可以扩展ES集群的处理能力。ES强大功能、易于使用等特点使得ES成为目前全球最受欢迎的全文数据搜索引擎。 通常ElasticSearch，和Kibana和Logstash等软件一起被称为“Elastic Stack”。其中Logstash负责数据的收集功能，ElasticSearch负
ElasticSearch从入门到精通,详解
weixin_40988393的博客
11-16 566
1.ElasticSearch的简介 Elasticsearch的特点 1）可以作为一个大型分布式集群（数百台服务器）技术，处理PB级数据，服务大公司；也可以运行在单机上，服务小公司 2）Elasticsearch不是什么新技术，主要是将全文检索、数据分析以及分布式技术，合并在了一起，才形成了独一无二的ES；lucene（全文检索），商用的数据分析软件（也是有的），分布式数据库（mycat） 3）对用户而言，是开箱即用的，非常简单，作为中小型的应用，直接3分钟部署一下ES，就可以作为生产环境的系统来使用
Elasticsearch-入门到精通-1 学习路线及概念
莫失莫忘-云姐
02-29 931
文章目录一、本文介绍二、学习线路三、elasticsearch基本概念 一、本文介绍 学习技术的最好的办法就是看官网，不过官网往往比较“专业”，尤其是对我们来讲的英文官网。所以，在看官网之前，先通过网络了解一些概念，可以提高看官网的效率。 学习Elasticsearch，特别推荐《Elasticsearch权威指南》，官网地址：https://www.elastic.co/guide/cn/ela...
Spring Data Elasticsearch学习笔记
qq_36643786的博客
01-16 449
1． Java语言全文检索技术简介 什么是lucene？ Lucene是一套 “全文检索” 编程API ，基于Lucene对数据建立索引，进行查询。 很多框架对lucene进行了封装。 什么是ElasticSearch ? 现在企业开发中，更常用是的solr搜索服务器和ElasticSearch搜索服务器 如果大家使用过 Apache Lucene 或 Apache Solr，就会知道它们的使...
es从入门到精通 jenrey
04-28
ES是指Elasticsearch，是一个开源的分布式全文搜索引擎。通过ES，我们可以实现高效的数据存储、搜索和分析。下面详细介绍ES的入门到精通。 1. 入门阶段 首先，我们需要了解ES的基本概念和组成部分。这包括索引、文档、映射、查询、分片等；其次，学习如何安装ES并启动服务；之后，学习如何使用命令行或REST API进行基本操作，如创建索引、添加文档和执行查询等。 2. 进阶阶段 在进阶阶段，我们需要了解更多ES的高级特性，如分布式部署、数据分析、聚合、速率限制和词向量分析等。还可以学习基于Kibana进行数据可视化和分析的技能，如创建图表、可视化仪表板等。 3. 精通阶段 在精通阶段，我们需要深入理解ES的原理和内部机制，如倒排索引、分片策略、路由算法等；还要了解如何进行性能优化、数据备份和恢复、数据安全等高级技能。 综上所述，ES从入门到精通的过程需要一定的时间和努力，需要通过实践来深入理解并熟练掌握各种技能。同时，可以通过网络上的资料、课程和社区来不断学习和提高自己的技能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

kuokay

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值