全文检索 - 3、ElasticSearch使用

最新推荐文章于 2023-03-04 23:12:17 发布
最新推荐文章于 2023-03-04 23:12:17 发布
阅读量227 收藏
点赞数
分类专栏： 大数据 文章标签： elasticsearch 大数据 es
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KF3035/article/details/106720729
版权

上一章 全文检索 - 2、ElasticSearch安装（head插件、ik分词器安装）

一、 基本概念

索引 index
Elasticsearch的数据存储的地方，类似于关系型数据库中的数据库，可以向索引写入文档或从索引中读取文档。

文档 doc
文档是ElasticSearch中的主要实体，对ElasticSearch来说所有的搜索都可归结为对文档的搜索。文档由字段构成，每个字段有它的名字和一个或多个值。文档直接可能有不通的字段集合，并且文档没有固定的模式或强制的结构。文档存储的内容是一个JSON对象。

映射 mapping
映射即元数据信息，可以通过映射设置字段的类型、以及分词方式、格式化等信息。虽然ElasticSearch可以根据写入的内容自动添加映射信息，但大多数情况下还是需要手动设置字段的相关配置。

类型 type
ElasticSearch每个文档由对应的类型，允许一个索引中存储多中类型的文档(6.X一个索引只能创建一个类型)，并为不同类型的文档提供不同映射。（ElasticSearch7.X已经去除该概念）。

节点 node
单个ElasticSearch服务实例成为节点，大多时候一个ElasticSearch已经满足简单应用，如果考虑集群容错和数据增长快，需要配置多节点ElasticSearch集群。

集群 cluster
当数据量或数据查询压力超过单机负载时，需要多个节点协同处理，这些节点成为集群。集群同时也是无间断提供服务的一种解决方案，及时节点中有机器宕机或者服务不可用，也不会影响ElasticSearch服务使用。

分片 shard
ElasticSearch将数据分散到多个物理Lucene索引上，这些索引被称为分片，而散布这些分片的过程叫分片处理（sharding）。ElasticSearch会自动分片。分片数量是在创建索引时定义好的，不能修改。

副本 replica
为每个分片创建冗余的副本，当访问压力时单机无法处理所有请求时，处理查询时可以把这些副本当做最初的主分片。即使某个分片所在节点宕机，ElasticSearch也可以使用其副本，从而不会造成数据丢失，支持随意时间添加或删除副本。

二、 CURL命令使用

1、cat命令

cat查询集群相关信息，命令如下：

/_cat/aliases            #查看集群中所有alias信息,路由配置等
/_cat/aliases/{alias}       #查看指定索引的alias信息
/_cat/allocation       #查看单节点的分片信息
/_cat/count            #查看文档数量
/_cat/count/{index}      #查看某个索引的文档数量
/_cat/fielddata          #查看当前集群各个节点的fielddata内存使用情况
/_cat/fielddata/{fields}     #查看某个属性的内存使用情况
/_cat/health            #查看集群状态
/_cat/indices          #查看所有索引的信息
/_cat/indices/{index}    #查看某个索引的信息
/_cat/master          #查看主节点信息
/_cat/nodeattrs           #查看单节点的自定义属性
/_cat/nodes           #查看所有节点信息
/_cat/pending_tasks      #查看当前集群的pending task
/_cat/plugins            #查看集群插件信息
/_cat/recovery          #查看正在进行和已完成的分片恢復的信息
/_cat/recovery/{index}   #查看某个索引正在进行和已完成的分片恢復的信息
/_cat/repositories         #输出集群中注册快照存储库
/_cat/segments        #查看各索引的segment信息
/_cat/segments/{index}  #查看某个索引的segment信息
/_cat/shards          #查看各分片的信息
/_cat/shards/{index}    #查看某个分片的信息
/_cat/templates          #输出当前正在存在的模板信息
/_cat/thread_pool        #查看集群线程池

常用cat命令：
1）、查看集群健康状态
curl -XGET 'http://192.168.3.27:8201/_cat/health?v&pretty'
返回

epoch      timestamp cluster    status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1591950304 08:25:04  es-cluster green           2         2     14   7    0    0        0             0                  -                100.0%

2）、查看节点信息
curl -XGET 'http://192.168.3.27:8201/_cat/nodes?v&pretty'
返回

ip          heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
192.168.3.7           19          28   0    0.00    0.01     0.05 dilm      -      master
192.168.3.8           49          45   0    0.00    0.02     0.05 dilm      *      node-1

3）、查看所有索引
curl -XGET 'http://192.168.3.27:8201/_cat/indices?v&pretty'
返回

health status index               uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   test_index          BIzNghzyQEqPlidrUlRkdw   2   1          0            0       920b           460b

4）、查看某个索引信息
curl -XGET 'http://192.168.3.27:8201/_cat/indices/test_index?v&pretty'
返回

health status index      uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   test_index BIzNghzyQEqPlidrUlRkdw   2   1          0            0       920b           460b

5）、查看某个索引的文档数量
curl -XGET 'http://192.168.3.27:8201/_cat/count/test_index?v&pretty'
返回

epoch      timestamp count
1591949968 08:19:28   0

2、index相关命令

1）、单独创建索引

curl -XPUT 'http://192.168.3.27:8201/test_index?pretty' \
    -H "Content-Type: application/json" \
    -d '{"settings":{"number_of_shards":2,"number_of_replicas":1}}'

返回

{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "index" : "test_index"
}

number_of_shards分片数 number_of_replicas备份数

2）、索引添加结构映射

curl -XPOST 'http://192.168.3.27:8201/test_index/_mapping?pretty' \
-H "Content-Type: application/json" \
-d '{"properties":{"content":{"type":"text"},"name":{"type": "keyword"},"record_date": {"type": "date"}}}'

返回

{
 "acknowledged" : true
}

3）、创建索引同时设置映射结构

curl -XPUT 'http://192.168.3.27:8201/test_index?pretty' \
    -H "Content-Type: application/json" \
   -d '{"settings":{"number_of_shards":2,"number_of_replicas":1},"mappings":{"properties":{"content":{"type":"text"},"name":{"type": "keyword"},"record_date": {"type": "date"}}}}'

返回

{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "index" : "test_index"
}

4）、查看索引详细信息
curl -XGET 'http://192.168.3.27:8201/test_index/_stats?pretty'

5）、删除索引
curl -XDELETE 'http://192.168.3.27:8201/test_index'
返回

{"acknowledged":true}

3、数据增删改查

1）、新增

  • post新增
    post新增不需要指定ID，会随机生成一个ID，不是幂等性接口，相同数据新增时会添加多条，只是ID不相同。
curl -XPOST 'http://192.168.3.27:8201/test_index/_doc?pretty' \
	-H "Content-Type: application/json" \
	-d '{"content":"我是中国人","name":"张三","record_date":"2020-06-12T16:40:00+08:00"}'

返回

 {
  "_index" : "test_index",
  "_type" : "_doc",
  "_id" : "rpS4p3IBe0MfklyGKsRO",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}
  • put新增
    put新增需要指定ID，具有幂等性。
curl -XPUT 'http://192.168.3.27:8201/test_index/_doc/1?pretty' \
    -H "Content-Type: application/json" \
    -d '{"content":"我是英国人","name":"ada","record_date":"2020-06-12T16:41:00+08:00"}'

返回

{
  "_index" : "test_index",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

2）、查询
curl -XGET 'http://192.168.3.27:8201/test_index/_doc/1?pretty'
返回

{
  "_index" : "test_index",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "_seq_no" : 0,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "content" : "我是英国人",
    "name" : "ada",
    "record_date" : "2020-06-12T16:41:00+08:00"
  }
}

3）、修改

curl -XPUT 'http://192.168.3.27:8201/test_index/_doc/1?pretty' \
    -H "Content-Type: application/json" \
    -d '{"content":"我是美国人","name":"ada","record_date":"2020-06-12T16:46:00+08:00"}'

返回

{
  "_index" : "test_index",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 2,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "_seq_no" : 1,
  "_primary_term" : 1
}

再查询
curl -XGET 'http://192.168.3.27:8201/test_index/_doc/1?pretty'

{
  "_index" : "test_index",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 2,
  "_seq_no" : 1,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "content" : "我是美国人",
    "name" : "ada",
    "record_date" : "2020-06-12T16:46:00+08:00"
  }
}

4）、删除
curl -XDELETE 'http://192.168.3.27:8201/test_index/_doc/1?pretty'
返回

{
  "_index" : "test_index",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 3,
  "result" : "deleted",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "_seq_no" : 2,
  "_primary_term" : 1
}

再查询
curl -XGET 'http://192.168.3.27:8201/test_index/_doc/1?pretty'

{
  "_index" : "test_index",
  "_type" : "_doc",
  "_id" : "1",
  "found" : false
}

三、 head插件使用

浏览器输入：http://192.168.3.27:9100/打开head插件

1、连接ES
填入ES某个节点的IP和端口信息
在这里插入图片描述

2、查看索引状态和映射分片等信息
在这里插入图片描述

3、索引操作，可以刷新、关闭、删除索引
在这里插入图片描述

4、新建索引
在这里插入图片描述

5、查看索引数据，选中索引名可以查看不同索引的数据
在这里插入图片描述

6、基础查询
在这里插入图片描述

7、高级查询
选择不同http请求，可以用CURL中所有查询方法，例如添加数据
在这里插入图片描述
下一章 全文检索 - 4、检索接口开发（SpringBoot）

欧阳楚风
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elasticsearch 7.4 常用API操作之JSON条件构建（一）
会飞的小蜗
11-03 1967
文章目录一、ES基本操作1._cat2.保存一个索引文档3.查询文档4.更新文档5.删除文档6.批量删除二.复杂搜索1.样本测试数据导入，以便测试2.SearchAPI1.检索信息2、Query DSL 查询1.基本语法格式2.返回部分字段3.match【匹配查询】4）、match_phrase【短语匹配】5）、multi_match【多字段匹配】6）、bool【复合查询】7）、filter【结果过滤】8）、term9）、aggregations（执行聚合）三、Mapping1）、字段类型2）、映射1、创
全文检索-Elasticsearch安装、集群和使用超全解读
qqxhb 资源共享
06-15 2555
1 ElasticSearch 介绍 1.1 介绍 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。[来源于百度百科] 官...
elasticsearch容器启动，集群搭建
weixin_60092693的博客
03-04 289
实验
ElasticSearch单节点扩展集群
reol_fan的博客
03-05 5052
目录 现况 目标 思路 环境准备 操作列表 效果验证 操作过程 步骤1新建一个主节点(169)，将原ES data目录拷贝到新节点中，启动验证是否正常。 步骤2新增4个数据节点(170,171,172,173)，设置启动3个节点后同步数据。 步骤3启动数据节点，加入es单节点，等待自动同步数据。 步骤4动态新增2个主节点(151,168)。 步骤5整体停机，更改数据节点配置，设置为3个主节点。 步骤6确认主节点加入后，关停原始主节点(169)。 步骤7设置主节点数据...
Elasticsearch 安装详情
清风明月独相伴
06-29 3690
Elasticsearch 的安装与启动 1.1 下载 Elasticsearch 7.6.0 下载地址：https://www.elastic.co/cn/downloads/elasticsearch 下载对应需要的 ES 。我这边是 Linux 的系统。另外 ES 支持 Docker 方式启动。另外，ES 7.x 不需要本地 JDK 环境支持： ES 5，安装需要 JDK 8 以上 ES 6.5，安装需要 JDK 11 以上 ES 7.2.1，内置了 JDK 12 1.2 启动 Elast
ElasticSearch是什么？Lucene是什么？
jj89929665的博客
02-02 783
ElasticSearch 分布式全文检索引擎 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口（请求分类 get post delete put）。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python
人工智能-项目实践-检索引擎-基于ElasticSearch的海量文本检索系统
02-27
基于ElasticSearch的海量文本检索系统 基于ElasticSearch的海量文本检索系统，目前支持txt, doc, docx, pdf, ppt格式文本上传及全文查询，本项目作为本人的毕业设计
人工智能-项目实践-信息检索-elasticsearch-python+flask 检索系统
最新发布
02-29
在本项目实践中，我们主要关注的是利用人工智能技术构建一个基于Elasticsearch、Python和Flask的信息检索系统。这个系统能够高效地对大量数据进行搜索，为用户提供快速且准确的查询结果。下面将详细介绍Elastic...
人工智能-项目实践-检索引擎-基于Java8的SSM+Elasticsearch全文检索的个人博客系统
02-27
在这个名为“人工智能-项目实践-检索引擎-基于Java8的SSM+Elasticsearch全文检索的个人博客系统”的项目中，开发者构建了一个集成了人工智能技术的个人博客系统，它利用了现代搜索引擎技术，特别是Elasticsearch，来...
人工智能-项目实践-检索系统-基于 ElasticSearch 的文件检索系统
02-27
3. **文档索引**：将预处理后的文件内容作为文档，使用Elasticsearch的API进行索引，每个文件对应一个文档记录。 4. **查询接口**：开发查询接口，用户输入关键词后，通过Elasticsearch的搜索API进行全文搜索，并...
ElasticSearch7.4集群需要注意的问题（从节点加入不成功）
chuixue24的博客
01-17 2676
安装环境为win10，把之前启动过，且已经有数据的ElasticSearch7.4文件夹直接复制了一份，然后启动时发现，从节点不能加入主节点。报错如下： org.elasticsearch.transport.RemoteTransportException: [ES-node2][192.168.200.56:9301][internal:cluster/coordination/join] ...
最新elasticsearch7（七、集群多主高可用配置）
yyoc97的专栏
02-26 4462
文章目录前言配置集群间证书认证elasticsearch.yml验证客户端集群配置restHighLevelClientjdbc参考 前言 前面介绍了es7相关的一些用法。这一节我们来实践下集群高可用搭建，以及账号权限的配置。之前看了很多博主介绍的都是从主模式，主节点挂了集群也就不能对外服务了。 目前使用的最新版本7.6.0。账号配置需要破解x-pack包。（如果不需要设置密码可以忽略） 配置 集...
elasticsearch索引管理详解
勇心在馨
06-10 339
一、索引shard分配 创建索引主shard和副本shard： PUT /test_index { "settings" : { "number_of_shards" : 3, "number_of_replicas" : 1 } } 1、index包含多个shard 2、每个shard都是一个最小工作单元同时也是一个lucene实例，承载部分数据 3、增减节点时，shard会自动在nodes中负载均衡 4、primary shard和replica shard，...
【谷粒商城】框架扩充篇(3/4)
热门推荐
努力充实，远方可期
07-27 7万+
1. ELASTICSEARCH 1、安装elastic search dokcer中安装elastic search （1）下载ealastic search和kibana docker pull elasticsearch:7.6.2 docker pull kibana:7.6.2 （2）配置 mkdir -p /mydata/elasticsearch/config mkdir -p /mydata/elasticsearch/data echo "http.host: 0.0.0.0" >
ElasticSearch的几个概念
Tivon_1的博客
01-11 759
搬运来自：http://www.ruanyifeng.com/blog/2017/08/elasticsearch.html https://www.cnblogs.com/ajianbeyourself/p/5529575.html ElasticSearch和Lucene 著名的开源程序Lucene是为索引组件，它提供了搜索程序的核心索引和搜索模块，例如图中的“Index”及
elasticseach 查询文档数量
yangyangrenren的专栏
07-24 1万+
curl ‘localhost:9200/_cat/indices?v’
Elasticsearch全文检索系统实现深入详解
铭毅天下Elasticsearch
07-23 1万+
题记学习ES的童鞋，都有一个开发一个类似百度的搜索引擎的想法。当然功能不一定是百度、360、谷歌传统的搜索引擎那么强大。但是，能实现基本的全文检索、指定类型的检索、评分高低优先级排序等等。那么问题来了，该如何实现？需要什么技术呢？1、效果图注：这张图是从网上down的，我已经实现了上述功能。 （不能截图，原因：你懂的！）2、前后端交互2.1 Elasticsearch服务端作为检索引擎，数据是
Elasticsearch－基础介绍及索引原理分析
baogui8961的博客
08-27 3291
介绍 Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作: 分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理PB级别...
elasticsearch7.5.0 集群搭建
HFDY的博客
05-21 690
elasticsearch7.5.0 集群搭建 服务器服务 系统 ES版本 192.168.8.218 node.master centos7.3 es7.5 192.168.8.219 node.data centos7.3 es7.5 192.168.8.220 node.data centos7.3 es7.5 1、添加用户及zu： #elk用户添加 groupadd -g 100 elk useradd -u 100...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值