Elasticsearch7学习笔记(上)

最新推荐文章于 2023-10-20 23:44:24 发布
VIP文章 最新推荐文章于 2023-10-20 23:44:24 发布
阅读量1.6k 收藏 2
点赞数 2
分类专栏： Java 文章标签： 搜索引擎 elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Vchar_Fred/article/details/115670453
版权

Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。

本文是在学习 中华石杉老师的 Elasticsearch顶尖高手系列 的视频教程的过程中做的笔记，实际操作使用的Elasticsearch7而非视频教程中使用的版本；现在这套视频教程是免费公开的（网上直接搜索就有），强烈推荐大家去观看学习。

一、Elasticsearch基础

现在主流的搜索引擎大概就是：Lucene，Solr，ElasticSearch。这里是对ElasticSearch的学习。

1.1 Elasticsearch的功能

  1. 分布式的搜索引擎和数据分析引擎

    • 搜索：百度，网站的站内搜索，IT系统的检索；
    • 数据分析：电商网站，最近7天牙膏这种商品销量排名前10的商家有哪些；新闻网站，最近1个月访问量排名前3的新闻版块是哪些 分布式，搜索，数据分析

  2. 全文检索，结构化检索，数据分析

    • 全文检索：我想搜索商品名称包含牙膏的商品，select * from products where product_name like "%牙膏%"
    • 结构化检索：我想搜索商品分类为日化用品的商品都有哪些，select * from products where category_id='日化用品'部分匹配、自动完成、搜索纠错、搜索推荐
    • 数据分析：我们分析每一个商品分类下有多少个商品，select category_id,count(*) from products group by category_id

  3. 对海量数据进行近实时的处理

    • 分布式：ES自动可以将海量数据分散到多台服务器上去存储和检索
    • 海联数据的处理：分布式以后，就可以采用大量的服务器去存储和检索数据，自然而然就可以实现海量数据的处理了
    • 近实时：检索个数据要花费1小时（这就不要近实时，离线批处理，batch-processing）；在秒级别对数据进行搜索和分析
    • 跟分布式/海量数据相反的：lucene，单机应用，只能在单台服务器上使用，最多只能处理单台服务器可以处理的数据量

1.2 Elasticsearch的适用场景

国外

（1）维基百科，类似百度百科，牙膏，牙膏的维基百科，全文检索，高亮，搜索推荐

（2）The Guardian（国外新闻网站），类似搜狐新闻，用户行为日志（点击，浏览，收藏，评论）+社交网络数据（对某某新闻的相关看法），数据分析，给到每篇新闻文章的作者，让他知道他的文章的公众反馈（好，坏，热门，垃圾，鄙视，崇拜）

（3）Stack Overflow（国外的程序异常讨论论坛），IT问题，程序的报错，提交上去，有人会跟你讨论和回答，全文检索，搜索相关问题和答案，程序报错了，就会将报错信息粘贴到里面去，搜索有没有对应的答案

（4）GitHub（开源代码管理），搜索上千亿行代码

（5）电商网站，检索商品

（6）日志数据分析，logstash采集日志，ES进行复杂的数据分析（ELK技术，elasticsearch+logstash+kibana）

（7）商品价格监控网站，用户设定某商品的价格阈值，当低于该阈值的时候，发送通知消息给用户，比如说订阅牙膏的监控，如果高露洁牙膏的家庭套装低于50块钱，就通知我，我就去买

（8）BI系统，商业智能，Business Intelligence。比如说有个大型商场集团，BI，分析一下某某区域最近3年的用户消费金额的趋势以及用户群体的组成构成，产出相关的数张报表，**区，最近3年，每年消费金额呈现100%的增长，而且用户群体85%是高级白领，开一个新商场。ES执行数据分析和挖掘，Kibana进行数据可视化

国内

（9）国内：站内搜索（电商，招聘，门户，等等），IT系统搜索（OA，CRM，ERP，等等），数据分析（ES热门的一个使用场景）

1.3 elasticsearch的核心概念

Elasticsearch	数据库
    
-----------------------------------------

Document		行
Type			表（在7.x以后已经移除了，默认为_doc; 在6.x以后一个索引只能有一个type了，在5.x以前一个索引可以有多个type）
Index			库

（1）Near Realtime（NRT）：近实时，两个意思，从写入数据到数据可以被搜索到有一个小延迟（大概1秒）；基于es执行搜索和分析可以达到秒级

（2）Cluster：集群，包含多个节点，每个节点属于哪个集群是通过一个配置（集群名称，默认是elasticsearch）来决定的，对于中小型应用来说，刚开始一个集群就一个节点很正常

（3）Node：节点，集群中的一个节点，节点也有一个名称（默认是随机分配的），节点名称很重要（在执行运维管理操作的时候），默认节点会去加入一个名称为“elasticsearch”的集群，如果直接启动一堆节点，那么它们会自动组成一个elasticsearch集群，当然一个节点也可以组成一个elasticsearch集群

（4）Document&field：文档，es中的最小数据单元，一个document可以是一条客户数据，一条商品分类数据，一条订单数据，通常用JSON数据结构表示，每个index下的type中，都可以去存储多个document。一个document里面有多个field，每个field就是一个数据字段。

（5）Index：索引，包含一堆有相似结构的文档数据，比如可以有一个客户索引，商品分类索引，订单索引，索引有一个名称。一个index包含很多document，一个index就代表了一类类似的或者相同的document。比如说建立一个product index，商品索引，里面可能就存放了所有的商品数据，所有的商品document。

（6）shard：单台机器无法存储大量数据，es可以将一个索引中的数据切分为多个shard，分布在多台服务器上存储。有了shard就可以横向扩展，存储更多数据，让搜索和分析等操作分布到多台服务器上去执行，提升吞吐量和性能。每个shard都是一个lucene index。

（7）replica：任何一个服务器随时可能故障或宕机，此时shard可能就会丢失，因此可以为每个shard创建多个replica副本。replica可以在shard故障时提供备用服务，保证数据不丢失，多个replica还可以提升搜索操作的吞吐量和性能。primary shard（建立索引时一次设置，不能修改，默认5个），replica shard（随时修改数量，默认1个），默认每个索引10个shard，5个primary shard，5个replica shard，最小的高可用配置，是2台服务器。

1.4 使用docker安装Elasticsearch

  1. 拉取docker镜像，由于国内网络原因，速度可能会比较慢或者无法下载；可以直接安装对应系统的安装包进行安装即可，基本都是解压运行即可。
docker pull elasticsearch:7.8.0

镜像下载慢可以配置国内的加速

编辑编辑/etc/docker/daemon.json文件

vi /etc/docker/daemon.json

添加镜像加速地址(下面这个是网易的加速地址)：

{
  "registry-mirrors": ["http://hub-mirror.c.163.com"]
}

也可以使用申请阿里云容器镜像服务ACR ；申请成功后点击管理控制台，选择镜像中心->镜像加速获取地址。

重启docker

systemctl daemon-reload
systemctl restart docker
  1. 创建elasticsearch容器，并启动(这里使用单机版)
docker run -d --name es7  -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.8.0
  1. 访问 http://192.168.1.6:9200/

如果正常返回则说明成功，类似：

{
   
  "name" : "074c8527cecd",
  "cluster_name" : "docker-cluster",
  "cluster_uuid" : "YBNpiQm8Qxmd0ma7j-1uGw",
  "version" : {
   
    "number" : "7.8.0",
    "build_flavor" : "default",
    "build_type" : "docker",
    "build_hash" : "757314695644ea9a1dc2fecd26d1a43856725e65",
    "build_date" : "2020-06-14T19:35:50.234439Z",
    "build_snapshot" : false,
    "lucene_version" : "8.5.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

二、Kibana

kibana的界面可以很方便的查看elasticsearch的信息，也可以做图表、指标等。同时提供控制台命令操作elasticsearch。我们后面的es查询操作都在这个上面操作了。

使用docker安装kibana

# 拉取kibana的镜像
docker pull kibana:7.8.0
# 启动kibana
docker run -d --name kibana --link 已经启动的elasticsearch的容器ID或者是名字:elasticsearch -p 5601:5601 kibana:7.8.0  
# 例如
docker run -d --name kibana --link es7:elasticsearch -p 5601:5601 kibana:7.8.0

通过http://192.168.111.44:5601访问kibana

如果需要中文界面在kibana.yml文件中添加 i18n.locale: "zh-CN"配置重启即可；注意最好和es的版本一样。

通过kibana的Console来做elasticsearch的crud和相关配置

elasticsearch集群状态
GET _cat/health?v
  • green：每个索引的primary shard和replica shard都是active状态的
  • yellow：每个索引的primary shard都是active状态的，但是部分replica shard不是active状态，处于不可用的状态
  • red：不是所有索引的primary shard都是active状态的，部分索引有数据丢失了

后面加v是为了打印出更多的信息

索引相关操作
# 查询所有索引
GET _cat/indices?v
# 创建索引
PUT /索引名称?pretty
# 删除索引
DELETE /索引名称
向elasticsearch中添加和修改数据

语法, 使用POST或者PUT都可以，存在则更新否则创建；

区别在于没有加ID值时（没有ID会自动生成），只能用POST表示创建；
需要注意的是使用PUT做更新时，其实是直接覆盖，因此需要带上所有的数据；

POST /索引名称/_doc
POST /索引名称/_create

POST /索引名称/_doc/数据的id值
POST /索引名称/_create/数据的id值

PUT /索引名称/_doc/数据的id值
PUT /索引名称/_create/数据的id值

只更新指定字段的值：

POST/索引名称/_update/数据的ID值 {
    "doc":{
        // 更新内容
    }
}
查询数据
# 查询所有
GET /索引名称/_search
# 根据ID查询
GET /索引名称/_doc/数据的id值
删除数据
DELETE /索引名称/_doc/数据的id值

删除使用的逻辑删除，之后会统一进行物理删除

示例
# 添加或更新替换
POST /ecommerce/_doc/1
{
  "name":"小米手机",
  "desc":"支持5G、全面屏6.4",
  "price":3000,
  "producer":"小米",
  "tags":["mobile","5G"]
}

# 添加或更新替换
PUT /ecommerce/_doc/2
{
  "name":"华为MacBook",
  "desc":"支持5G、全面屏15.2寸",
  "price":8000,
  "producer":"Huawei",
  "tags":["笔记本电脑","huawei"]
}

# 添加或更新替换
POST /ecommerce/_create/3
{
  "name":"华为P40 pro",
  "desc":"支持5G、超清摄像",
  "price":12000,
  "producer":"Huawei 成都",
  "tags":["mobile","huawei","5G"]
}

# 添加
POST /ecommerce/_doc
{
  "name":"Ipad mini 5",
  "desc":"7.9英寸",
  "price":4000,
  "producer":"apple",
  "tags":["笔记本电脑","apple"]
}

# 更新
POST /ecommerce/_update/1
{
  "doc": {
    "price":2000
  }
}

# 查询
GET /ecommerce/_search
GET /ecommerce/_doc/1

# 删除
DELETE /ecommerce/_doc/4

elasticsearch查询语句示例

query string search

query string search就是将查询条件放到http的参数上

1、查询全部

GET /ecommerce/_search

返回字段说明：

  • took：耗费了几毫秒
  • timed_out：是否超时
  • _shards：数据拆成几个分片，所以对于搜索请求，会打到所有的primary shard（或者是它的某个replica shard也可以）
  • hits.total：查询结果的数量，即几个document
  • hits.max_score：score的含义，就是document对于一个search的相关度的匹配分数，越相关，就越匹配，分数也高
  • hits.hits：包含了匹配搜索的document的详细数据

2、查询名称包含华为的商品,并且按照售价降序排序

GET /ecommerce/_search?q=name:华为&sort=price:desc

3、只返回name、price字段

GET /ecommerce/_search?_source=name,price
query DSL

DSL：Domain Specified Language，特定领域的语言

http request body：请求体，可以用json的格式来构建查询语法，
比较方便，可以构建各种复杂的语法，比query string search肯定强大多了

查询所有match_all

GET /ecommerce/_search
{
    "query": { "match_all": {} }
}

查询名称包含华为的商品，同时按照价格降序排序

GET /ecommerce/_search
{
  "query": {
    "match": {
      "name": "华为"
    }
  }
  , "sort": [
    {
      "price": {
        "order": "desc"
      }
    }
  ]
}

分页查询

GET /ecommerce/_search
{
  "query": {
    "match_all": {}
  },
  "from": 2,
  "size": 2
}

from 从第几条开始，起始为0
size 返回多少条记录

指定返回的字段

GET /ecommerce/_search
{
  "query": {
    "match_all": {}
  },
  "_source": ["name", "price"]
}
query filter

对数据进行过滤

搜索商品名称包含华为，而且售价大于8000元的商品

GET /ecommerce/_search
{
    "query": {
     "bool": {
       "must": [
         {
           "match": {
             "name": "华为"
           }
         }
       ],
       "filter": [
         {
           "range": {
             "price": {
               "gt": 8000
             }
           }
         }
       ]
     }
    }
}

或者

GET /ecommerce/_search
{
  "query": {
    "bool": {
      "must": {
          "match": {
            "name": "华为"
          }
        }
      ,
      "filte
最低0.47元/天 解锁文章
起岸星辰
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch 学习笔记
01-20
文章目录ElasticSearch 学习笔记基本概念倒排索引timeout 超时Query 与 filter 的区别query全文检索短语检索高亮检索分组检索平均值的检索区间检索批量查询查询排序查询缓存文档替换与删除ES路由查询路由分词Mapping...
Elasticsearch7从入门到精通(简介、部署、原理、开发、ELK)
wt334502157的博客
11-04 5255
Elasticsearch官方网站：https://www.elastic.co/cn/elasticsearch/Elasticsearch是一个基于Lucene的搜索服务器提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Pyt
ElasticSearch7 使用总结
qq_45525848的博客
05-07 606
ElasticSearch7 使用总结
Elasticsearch7学习笔记(尚硅谷)
Shawn的个人博客
02-18 3604
Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。但是Lucene只是一个框架，要充分利用它的功能，需要使用JAVA，并且在程序中集成Lucene。当然Elasticsearch并不仅仅是Lucene这么简单，它不但包括了
ElasticSearch 7 入门使用教程
qq_40874285的博客
04-16 1175
执行如下命令：安装JDK并查看JDK版本。
ElasticSearch 7 入门
ycfxhsw的博客
05-11 2181
一、ElasticSearch介绍 Elasticsearch 是一个基于JSON的分布式、高扩展、高实时、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。 作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。 Elasticsearch是与名为Logstash的数据收集和日志解析引擎以及名为Kibana的分析和可视化平台一起开发的。这三个产品被设计成一个集成解决方案，称为“Elastic Stack”（以前称为“ELK stack”）
ElasticSearch学习笔记
04-11
ElasticSearch学习笔记
Elasticsearch入门学习笔记
06-28
Elasticsearch入门学习笔记，适用于未学过Elasticsearch的人群，其中有些内容也是参考官方文档。
elasticsearch学习笔记.rar
最新发布
03-20
elasticsearch学习笔记 2M大文件，涵盖主流ES知识点
Elasticsearch7.x——配置详解
吴声子夜歌的博客
10-20 1517
当你想要在其他主机上形成一个有多个节点的集群时，你应该使用 discovery.seed_hosts 设置来提供一个集群中其他(符合主节点的条件的)节点的列表，并且可能是活动的和可连接的，以便启动 发现过程(discovery process)。默认情况下，节点包含以下所有类型: 符合主节点条件的节点(master-eligible)、数据节点(data)、预处理节点(ingest) 以及 机器学习(machine learning)(如果可用) 和 转换(transform)节点。
springboot2+elasticsearch7+可视化es-head+cerebro整合搜索
06-16
【讲师介绍】      现某知名大型互联网公司资深架构师，技术总监，职业规划师，面试官，曾在某上市培训机构，高校任教多年。    Array老师 10多年互联网公司实战经验，知名的大型互联网公司的架构师，高管等职，在企业长期从事于技术的源码阅读和新技术的研究；从事面试官多年 。技术选型开发环境：Eclipse/Idea ，JDK 1.8及其以上 后端技术核心框架：SpringBoot2.x框架系列（同样适用Springcloud F版本以后的版本），如下（节选）：    持久层框架：RestHighLevelClient（官方推荐）工具类：Apache Commons、Jackson 、fastjson、Gson有四种不同的方式来产生JSON格式的文档（document）手动方式，使用原生的byte[]或者String使用Map方式，会自动转换成与之等价的JSON使用第三方库来生成序列化beans，如JackJSON、FastJSON等使用内置的帮助类XContentFactory.jsonBuilder()前端技术  ：ElasticSearch-head插件（NodeJs版本）课程
ElasticSearch黑马学习笔记（超详细）搜索引擎ElasticSearch7.x笔记
weixin_43494537的博客
07-02 796
match和multi_match的区别是什么？match：根据一个字段查询multi_match：根据多个字段查询，参与查询字段越多，查询性能越差query：查询条件from和size：分页条件sort：排序条件highlight：高亮条件查寻有四种；全文查询，精确查询，地理查询，符合查循，其中符合查询包含bool与functions；
Elasticsearch7 单节点与集群部署
m0_67391521的博客
09-06 1375
最近对新版本的ES进行测试，现在整理一下。ES 7.0是2019年4月份发布的，底层是Lucence 8.0。其新特性有：1、废除单个索引下多Type的支持2、彻底废弃_all字段支持，为提升性能默认不再支持全文检索3、新增应用程序主动检测功能，搭配对应版本的kibana，用户可监测应用服务的健康状态，并在出现问题后及时发出通知4、取消Query结果中的Hits Count的支持（聚合查询除外），使得查询性能大幅提升。这就意味着，每次查询后将不能得到精确的结果集数量。
ElasticSearch7基础
weixin_39764056的博客
07-17 561
ElasticSearch7入门学习
ElasticSearch7的特性
qianshanding0708的博客
11-11 3152
看了下公司内部用的ElasticSearch集群是 5.1.x 的版本，想升级到新版本，众所周知es这尿性更新速度很快，且有些大版本不向前兼容。这主要是因为lucene，...
ElasticSearch7安装及使用
andwey的博客
06-30 1473
安装JDK1.8（包括）以上版本 一、安装ElasticSearch ElasticSearch下载地址： https://www.elastic.co/downloads/elasticsearch 双击elasticsearch.bat http://localhost:9200 以windows服务启动 dos窗口cd到es安装目录中执行elasticsearch-service.bat install 查看任务管理器，找到elastcisearch右击选中开始，就能...
ElasticSearch 7 安装配置
在我的博客中，你将看到我对生活的热爱，对知识的渴望，以及对创新的追求。我会分享我在各个领域的思考和发现，我的目标是创造一个充满活力、启迪心灵的交流平台，让每一个访问者都能从中获得新的观点和启示。
08-21 472
elasticsearch-analysis-ik-7.17.6.zip文件链接：https://pan.baidu.com/s/1dVZ9iR0mQXv0SS3a1V-0PQ?我们将会从 Elasticsearch RPM 源中安装它。单点配置文件实例（/etc/elasticsearch/elasticsearch.yml）修改配置文件 /etc/elasticsearch/elasticsearch.yml。编辑/etc/yum.repos.d/elasticsearch.repo源。
Elasticsearch基础篇(四)：Elasticsearch7.x的官方文档学习(Set up Elasticsearch)
后端开发
10-03 2075
在 Elasticsearch 中，存在一些敏感设置，不能仅仅依赖文件系统权限来保护其值。为了解决这个问题，Elasticsearch 提供了一个密钥库（keystore）以及工具来管理这些敏感设置。
ElasticSearch安装详细教程以及相关踩坑
马哥的博客
04-09 2660
本教程使用Linux系统安装 创建elasticsearch目录 cd /usr/local/ mkdir tool cd tool mkdir elasticsearch cd elasticsearch 下载Elasticsearch 在刚刚创建好的文件夹内下载Elasticsearch(以下简称es) curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.16.2-linux
elasticsearch 学习笔记
08-19
- *1* *2* *3* [Elasticsearch 学习笔记（上）](https://blog.csdn.net/m0_52691962/article/details/127064350)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值