利用Kibana学习全文检索工具elasticsearch

最新推荐文章于 2024-05-31 10:35:25 发布
最新推荐文章于 2024-05-31 10:35:25 发布
阅读量755 收藏 1
点赞数 2
分类专栏： 学习笔记 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40583885/article/details/106235131
版权

elasticsearch的基本概念

cluster整个elasticsear----ch 默认就是集群状态，整个集群是一份完整、互备的数据。
node集群中的一个节点，一般只一个进程就是一个node
Shard分片，即使是一个节点中的数据也会通过hash算法，分成多个片存放，默认是5片。
Index相当于rdbms的database, 对于用户来说是一个逻辑数据库，虽然物理上会被分多个shard存放，也可能存放在多个node中。
Type类似于rdbms的table，但是与其说像table，其实更像面向对象中的class , 同一Json的格式的数据集合。
Document类似于rdbms的 row、面向对象里的object
Field相当于字段、属性

利用kibana学习 elasticsearch restful api (DSL)

1.es中保存的数据结构

public class  Movie {
	 String id;
     String name;
     Double doubanScore;
     List<Actor> actorList;
}

public class Actor{
String id;
String name;
}

这两个对象如果放在关系型数据库保存，会被拆成2张表，但是elasticsearch是用一个json来表示一个document。
所以它保存到es中应该是：

{
  “id”:”1”,
  “name”:”operation red sea”,
  “doubanScore”:”8.5”,
  “actorList”:[  
		{“id”:”1”,”name”:”zhangyi”},
		{“id”:”2”,”name”:”haiqing”},
		{“id”:”3”,”name”:”zhanghanyu”}
	]
}

2.对数据的操作

2.1 查看es中有哪些索引

GET /_cat/indices?v

在这里插入图片描述
es 中会默认存在一个名为.kibana的索引
表头的含义

healthgreen(集群完整) yellow(单点正常、集群不完整) red(单点不正常)
status是否能使用
index索引名
uuid索引统一编号
pri主节点几个
rep从节点几个
docs.count文档数
docs.deleted文档被删了多少
store.size整体占空间大小
pri.store.size主节点占
2.2 增加一个索引

PUT /movie_index

在这里插入图片描述

2.3 删除一个索引
  ES 是不删除也不修改任何数据 ,伪删除更新当前index的版本。

DELETE /movie_index

在这里插入图片描述

2.4 新增文档

格式 PUT /index/type/id

例：（如果之前没建过index或者type，es 会自动创建。）

PUT /movie_index/movie/1
{ "id":1,
  "name":"operation red sea",
  "doubanScore":8.5,
  "actorList":[  
		{"id":1,"name":"zhang yi"},
		{"id":2,"name":"hai qing"},
		{"id":3,"name":"zhang han yu"}
	]
}

PUT /movie_index/movie/2
{
  "id":2,
  "name":"operation meigong river",
  "doubanScore":8.0,
  "actorList":[  
		{"id":3,"name":"zhang han yu"}
	]
}

PUT /movie_index/movie/3
{
  "id":3,
  "name":"incident red sea",
  "doubanScore":5.0,
  "actorList":[  
		{"id":4,"name":"liu de hua"}
	]
}

在这里插入图片描述

2.5 直接用id查找

GET movie_index/movie/1

在这里插入图片描述

2.6 修改—整体替换

和新增没有区别

PUT /movie_index/movie/3
{
  "id":"3",
  "name":"incident red sea",
  "doubanScore":"5.0",
  "actorList":[  
		{"id":"1","name":"zhang guo li"}
	]
}
2.7 修改—某个字段 更新es商品中的排名
POST movie_index/movie/3/_update
{ 
  "doc": {
    "doubanScore":"7.0"
  } 
}

在这里插入图片描述

2.8 删除一个document

DELETE movie_index/movie/3

在这里插入图片描述

2.9 搜索type全部数据

GET movie_index/movie/_search

结果

{
  "took": 2,    //耗费时间 毫秒
  "timed_out": false, //是否超时
  "_shards": {
    "total": 5,   //发送给全部5个分片
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 3,  //命中3条数据
    "max_score": 1,   //最大评分
    "hits": [  // 结果
      {
        "_index": "movie_index",
        "_type": "movie",
        "_id": 2,
        "_score": 1,
        "_source": {
          "id": "2",
          "name": "operation meigong river",
          "doubanScore": 8.0,
          "actorList": [
            {
              "id": "1",
              "name": "zhang han yu"
            }
          ]
        }
          。。。。。。。。
          。。。。。。。。
      }

在这里插入图片描述

2.10 按条件查询(全部)
GET movie_index/movie/_search
{
  "query":{
    "match_all": {}
  }
}

在这里插入图片描述

2.11 按分词查询
GET movie_index/movie/_search
{
  "query":{
    "match": {"name":"red"}
  }
}

注意结果的评分
在这里插入图片描述

2.12 按分词子属性查询
GET movie_index/movie/_search
{
  "query":{
    "match": {"actorList.name":"zhang"}
  }
}

在这里插入图片描述

2.13 match phrase 按词组查询
GET movie_index/movie/_search
{
    "query":{
      "match_phrase": {"name":"operation red"}
    }
}

按短语查询，不再利用分词技术，直接用短语在原始数据中匹配
在这里插入图片描述

2.14 fuzzy查询
GET movie_index/movie/_search
{
    "query":{
      "fuzzy": {"name":"rad"}
    }
}

校正匹配分词，当一个单词都无法准确匹配，es通过一种算法对非常接近的单词也给与一定的评分，能够查询出来，但是消耗更多的性能。
在这里插入图片描述

2.15 查询后过滤
GET movie_index/movie/_search
{
    "query":{
      "match": {"name":"red"}
    },
    "post_filter":{
      "term": {
        "actorList.id": 3
      }
    }
}

在这里插入图片描述

2.16 查询前过滤（推荐）

其实准确来说，ES中的查询操作分为2种：查询（query）和过滤（filter）。查询即是之前提到的query查询，它（查询）默认会计算每个返回文档的得分，然后根据得分排序。而过滤（filter）只会筛选出符合的文档，并不计算得分，且它可以缓存文档。所以，单从性能考虑，过滤比查询更快。
换句话说，过滤适合在大范围筛选数据，而查询则适合精确匹配数据。一般应用时，应先使用过滤操作过滤数据，然后使用查询匹配数据。

GET movie_index/movie/_search 
{ 
    "query":{
        "bool":{
          "filter":[ {"term": {  "actorList.id": "1"  }},
                     {"term": {  "actorList.id": "3"  }}
           ], 
           "must":{"match":{"name":"red"}}
         }
    } 
}

term、terms过滤
term、terms的含义与查询时一致。term用于精确匹配、terms用于多词条匹配。不过既然过滤器适用于大氛围过滤，term、terms在过滤中使用意义不大。在项目中建议使用term。
Term: where id = ?
Terms: where id in ()
# select * from skuInfo where id=?
# select * from skuInfo where id in ()
在这里插入图片描述

2.17 过滤–按范围过滤
GET movie_index/movie/_search
{
   "query": {
     "bool": {
       "filter": {
         "range": {
            "doubanScore": {"gte": 8}
         }
       }
     }
   }
}

关于范围操作符：跟html标签中的转义字符一样！

gt 大于 lt 小于 gte 大于等于 lte 小于等于

在这里插入图片描述

2.18 排序
GET movie_index/movie/_search
{
  "query":{
    "match": {"name":"red sea"}
  }
  , "sort": [
    {
      "doubanScore": {
        "order": "desc"
      }
    }
  ]
}

在这里插入图片描述

2.19 分页查询
GET movie_index/movie/_search
{
  "query": { 
  	"match_all": {} 
  },
  //第几条开始查询！
  "from": 1,
  "size": 1
}

在这里插入图片描述

2.20 指定查询的字段
GET movie_index/movie/_search
{
  "query": { 
  	"match_all": {} 
  },
  "_source": ["name", "doubanScore"]
}

在这里插入图片描述

2.21 高亮
GET movie_index/movie/_search
{
    "query":{
      "match": {"name":"red sea"}
    },
    "highlight": {
      "fields": {"name":{} }
    }
    
}

在这里插入图片描述
修改自定义高亮标签

GET movie_index/movie/_search
{
    "query":{
      "match": {"name":"red sea"}
    },
    "highlight": {
      "post_tags": ["</span>"],
      "pre_tags": ["<span>"], 
      "fields": {"name":{} }
    }
}

在这里插入图片描述

2.22 聚合

取出每个演员共参演了多少部电影 – sql ： group by

GET movie_index/movie/_search
{ 
  "aggs": {
    "groupby_actor": {
      "terms": {
        "field": "actorList.name.keyword"  
      }
    } 
  }
}

在这里插入图片描述
每个演员参演电影的平均分是多少，并按评分排序

GET movie_index/movie/_search
{ 
  "aggs": {
    "groupby_actor_id": {
      "terms": {
        "field": "actorList.name.keyword" ,
        "order": {
          "avg_score": "desc"
          }
      },
      "aggs": {
        "avg_score":{
          "avg": {
            "field": "doubanScore" 
          }
        }
       }
    } 
  }
}

在这里插入图片描述

3 关于mapping

之前说type可以理解为table，那每个字段的数据类型是如何定义的呢
查看mapping

GET movie_index/_mapping/movie
在这里插入图片描述

实际上每个type中的字段是什么数据类型，由mapping定义。但是如果没有设定mapping系统会自动，根据一条数据的格式来推断出应该的数据格式。

true/false → boolean
1020 → long
20.1 → double，float
“2018-02-01” → date
“hello world” → text + keyword

默认只有text会进行分词，keyword是不会分词的字符串。mapping除了自动定义，还可以手动定义，但是只能对新加的、没有数据的字段进行定义。一旦有了数据就无法再做修改了。

注意：虽然每个Field的数据放在不同的type下,但是同一个名字的Field在一个index下只能有一种mapping定义。

4 中文分词

elasticsearch本身自带的中文分词，就是单纯把中文一个字一个字的分开，根本没有词汇的概念。但是实际应用中，用户都是以词汇为条件，进行查询匹配的，如果能够把文章以词汇为单位切分开，那么与用户的查询条件能够更贴切的匹配上，查询速度也更加快速。
分词器下载网址：https://github.com/medcl/elasticsearch-analysis-ik

4.1 安装

1.下载好的zip包，请放到 /usr/share/elasticsearch/plugins/ 下解压
[root@localhost plugins]# unzip elasticsearch-analysis-ik-5.6.4.zip

2.将压缩包文件删除！否则启动失败！

3.然后重启es
[root@localhost plugins]# service elasticsearch restart

4.2 测试使用

使用默认

GET movie_index/_analyze
{  
  "text": "我是中国人"
}

请观察结果

在这里插入图片描述
使用分词器

GET movie_index/_analyze
{  "analyzer": "ik_smart", 
  "text": "我是中国人"
}

请观察结果

在这里插入图片描述另外一个分词器 ik_max_word

GET movie_index/_analyze
{  "analyzer": "ik_max_word", 
  "text": "我是中国人"
}

请观察结果
在这里插入图片描述
能够看出不同的分词器，分词有明显的区别，所以以后定义一个type不能再使用默认的mapping了，要手工建立mapping, 因为要选择分词器。

4.3 基于中文分词搭建索引

1、建立mapping

PUT movie_chn
{
  "mappings": {
    "movie":{
      "properties": {
        "id":{
          "type": "long"
        },
        "name":{
          "type": "text"
          , "analyzer": "ik_smart"
        },
        "doubanScore":{
          "type": "double"
        },
        "actorList":{
          "properties": {
            "id":{
              "type":"long"
            },
            "name":{
              "type":"keyword"
            }
          }
        }
      }
    }
  }
}

2.插入数据

PUT /movie_chn/movie/1
{ "id":1,
  "name":"红海行动",
  "doubanScore":8.5,
  "actorList":[  
  		{"id":1,"name":"张译"},
  		{"id":2,"name":"海清"},
  		{"id":3,"name":"张涵予"}
 	]
}

PUT /movie_chn/movie/2
{
  "id":2,
  "name":"湄公河行动",
  "doubanScore":8.0,
  "actorList":[  
		{"id":3,"name":"张涵予"}
	]
}

PUT /movie_chn/movie/3
{
  "id":3,
  "name":"红海事件",
  "doubanScore":5.0,
  "actorList":[  
		{"id":4,"name":"张国立"}
	]
}

3.查询测试

GET /movie_chn/movie/_search
{
  "query": {
    "match": {
      "name": "红海战役"
    }
  }
}

GET /movie_chn/movie/_search
{
  "query": {
    "term": {
      "actorList.name": "张译"
    }
  }
}
4.4 自定义词库
	什么时候使用？
	当词库满足不了你的需要，可以使用自定义词库！

1.修改/usr/share/elasticsearch/plugins/ik/config/中的IKAnalyzer.cfg.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典 -->
        <entry key="ext_dict"></entry>
         <!--用户可以在这里配置自己的扩展停止词字典-->
        <entry key="ext_stopwords"></entry>
        <!--用户可以在这里配置远程扩展字典 -->
         <entry key="remote_ext_dict">http://192.168.xx.xxx/fenci/myword.txt</entry>
        <!--用户可以在这里配置远程扩展停止词字典-->
        <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

2.按照标红的路径利用nginx发布静态资源
在nginx.conf中配置

  server {
        listen  80;
        server_name  192.168.xx.xxx;
        location /fenci/ {
           root es;
    }
  }

3.并且在/usr/local/nginx/下建/es/fenci/目录，目录下加myword.txt
在myword.txt中编写关键词，每一行代表一个词。

4.然后重启es服务器，重启nginx。在kibana中测试分词效果

5.配置完成分词之后，要重启es .
若分词失败：看日志 cd /var/log/elasticsearch/ vim my-es.log
更新完成后，es只会对新增的数据用新词分词。历史数据是不会重新分词的。
如果想要历史数据重新分词。需要执行：

POST movies_index_chn/_update_by_query?conflicts=proceed

爪哇国猿首
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Elasticsearch 100问（上）
qq_28834355的博客
01-29 670
一、基本概念 1、ElasticSearch是什么： Elasticsearch是一个分布式的，开源的NoSQL数据库。通常做为文档搜索数据库。 2、什么是索引（indices） indices分为两种情况，一指索引，另一个是指往索引里插入数据的动作。索引可理解为类似于关系型数据库表的概念，而不是网络上大部分理解的数据库的概念。索引就是一张分布在不同服务器之上的大表。 3、什么是分片（shards） 一个或多个分片组成一个索引（indices）。理解为关系型数据库里的水平分表。 4、什么是分段（segmen
利用Kibana图表化Elasticsearch中的数据
热门推荐
Kosmoo的博客
11-28 2万+
利用Kibana图表化Elasticsearch中的数据1. 背景Kibana 是一个开源分析和可视化平台，旨在可视化操作 Elasticsearch 。Kibana可以用来搜索，查看，和存储在 Elasticsearch 索引中的数据进行交互。可以轻松地进行高级数据分析，并可在各种图表，表格和地图中显示数据。Kibana 可以轻松理解海量数据。其简单的基于浏览器的界面使您能够快速创建和共享动态仪表
生产上那些常用的ES命令（含_cat、查询文档）
健身变秃，coding变强
01-17 4308
生产上那些常用的ES命令（含_cat、查询文档）
ES基础语法操作（一）
qq_22242295的博客
01-04 936
GET _search { "query": { "match_all": {} } } GET _cat/indices GET /dy_operation_log/_search #插入一条记录 PUT /employee/_doc/1 { "name":"name1", "age":12 } #查询index GET /employee/_search #查询指定记录 GET /employee/_doc/1 #修改指定字段 POST /employee/_upda...
KIBANA的安装教程（超详细）
最新发布
2301_81547508的博客
05-31 1870
kibana的介绍 和安装教程
ES 初步检索
qq_33468006的博客
05-21 323
1、_cat GET /_cat/nodes;查看所有节点 GET /_cat/health;查看es健康状况 GET /_cat/master;查看主节点 GET /_cat/indices;查看所有索引 类似于mysql的 show databases; ES的索引相当于数据库，类型相当于数据库表 2.索引一个文档（保存） 保存一个数据，保存在哪个索引的哪个类型下，指定用哪个唯一标识 PUT customer/exter...
kibana启动报错
unique_1的专栏
03-26 2060
1.先成功启动elastic search后，启动kibana，结果报错： [resource_already_exists_exception] 2.解决：查看这个网址的响应：http://localhost:9200/_cat/indices 结果如果显示：.kibana_task_manager_1 这就是原因了， 3.cmd执行命令：curl -X DELETE http://localhost:9200/.kibana* 再刷新2步骤中的网址，发现.kibana_task_manage.
Elasticsearch使用IK分词支持全文检索
fengbonu的博客
05-28 1919
最近项目上需使用Elasticsearch支持全文检索，以下作为笔记： 1.版本：elasticsearch-6.2.1； 2.将对应ES版本的IK分词器包ik.tar.gz上传至elasticsearch-6.2.1/plugins 目录下解压缩； 3.终端执行 curl 'http://192.168.101.128:9200/_cat/plugins' 如下列表中有analysis...
Python库 | jupyterlab-language-pack-es-ES-3.1.post4.tar.gz
03-08
标签中提到了"elasticsearch"，这是一个流行的开源全文搜索引擎，常用于大数据分析和实时数据分析。在JupyterLab环境中，用户可能需要集成Elasticsearch来查询和分析存储在Elasticsearch集群中的大量数据。"python...
simplemt:一个简单、扁平的移动网络应用程序，用于检索 EMT（西班牙马德里的公共巴士公司）的时间表
07-13
简单MT是一个专为移动设备设计的轻量级网络应用程序，其主要功能是帮助用户获取西班牙马德里市公共交通系统——EMT（Empresa Municipal de Transportes）的公交路线及时刻表信息。这个应用采用了简洁、扁平化的用户...
Stemm-es: A spanish stemmer-开源
05-04
Stemm-es 的开源特性为西班牙语NLP任务提供了便利，如情感分析、搜索引擎优化（SEO）、机器翻译、信息检索和文本分类等。它允许开发者无需从零开始构建词干提取功能，而是可以专注于更高级别的应用逻辑。此外，开源...
shownot.es:Showot.es 网页的 Repo
07-12
"shownot.es-" 可能是指这个分支是专门为 showot.es 项目创建的，而 ".es" 是西班牙顶级域名，但在这里可能仅表示项目名称的一部分。这个文件名可能是一个解压后的文件夹，里面包含了整个项目的所有源代码文件和资源...
aluraflix2fun-es
03-29
"aluraflix2fun-es" 是一个与JavaScript相关的项目，根据其命名，可能是针对西班牙语用户的一个在线学习平台或娱乐应用。JavaScript是一种广泛使用的编程语言，尤其在Web开发领域，用于实现客户端交互、动态网页以及...
关于Elasticsearch与Kibana之间的分词问题解决方案
u012156982的专栏
01-23 6119
在Kibana的展示页面中，我们点击Table的左侧栏，发现Elasticsearch中的数据在展示中是正确的数据，比如：agent中www.baidu.com/test，该界面中会正确的显示为www.baidu.com/test，但是如果我们将该字段用Term展示出来的话，就会被分为www.baidu.com和test两组，通过查看CURL并没有发现其有任何问题，最后找到原因为Elasticse
Elasticsearch全文搜索技术之二kibana的简介和使用
张晨光老师的播客
08-27 1095
Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索，查看，用来交互存储在Elasticsearch索引中的数据。text：该类型被用来索引长文本，在创建索引前会将这些文本进行分词，转化为词的组合，建立 索引；keyword：该类型不需要进行分词，可以被用来检索过滤、排序和聚合， 可以满足电子邮箱地址、主机名、状态码、邮政编码和标签等数据的要求。数值型：long、integer、short、byte、double、float。//向es中存储对象。//向es中存储对象。...
【ELK】Kibana Discover菜单使用
qq_36615278的博客
04-28 1063
## Kibana Discover菜单使用     Discover菜单介绍   在搜索下拉框中列出了索引各个栏位的信息，根据提示可以筛选出对应的数据 例如：搜索ID为11580040 不分词检索得到以下结果 entityOrPersonId.keyword : 11580040 我们可以点击展开文档的详细信息，文档详细信息为两种，一种按照字段key：value显示。一种为json。 下图为按字段显示： 下面为按JSON显示： { "_index": "aml",
【elasticsearch】查询语句的分词过滤和不分词过滤
问题不大
07-15 5733
文章目录【elasticsearch】查询语句的分词过滤和不分词过滤一、分词查询二、全词查询 【elasticsearch】查询语句的分词过滤和不分词过滤 在对 elasticsearch 进行查询的时候，对于 “is a” 这种的包含默认分隔符的查询条件，查询语句会分为全词查询和分词查询两种情况，不注意的话，很容易得到错误数据； 下面介绍一下适用于各种需要查询语句情况的两个例子； 一、分词查询 使用 match ，查询语句包含默认分隔符，例如空格，就会使用分词来查询结果； 比如：are you，就会返
安装配置elasticsearch—kibana使用—中文分词
qq_38151401的博客
01-10 1444
目录 1 es相关介绍 2 安装和启动 3 es的基本概念 4 es简单办的增删改查 5 对于中文的分词 1 es相关介绍 1 搜索引擎 elasticSearch6（和elasticSearch5的区别在于，root用户权限、一个库能否建立多个表） 2 搜索引擎 文本搜索(以空间换时间算法) 于同类产品相比(...
elasticsearch7.3版本已经不需要额外安装中文分词插件了
大飞笔记（www.it100.site）
08-23 8295
本文已同步至我的个人小站：http://www.it100.site/content/2.html 经过测试，elasticsearch7.3版本已经不需要额外安装中文分词插件了，它自带的分词器已经很好的支持中文分词了。 因为我们是做会计证书的，所以我搜索了会计证书做测试，请求头如下 请求json串 { "query" : { "bool" : { ...
ElasticSearch：全文检索利器与企业级搜索引擎详解
全文检索服务ElasticSearch是一种强大的搜索引擎解决方案，它基于Apache Lucene库，专注于提供分布式、实时的全文搜索功能。...通过深入学习和实践，开发者可以充分利用Elasticsearch为自己的项目带来高效的搜索体验。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值