利用Kibana学习全文检索工具elasticsearch

最新推荐文章于 2024-05-31 10:35:25 发布
最新推荐文章于 2024-05-31 10:35:25 发布
阅读量756 收藏 1
点赞数 2
分类专栏： 学习笔记 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40583885/article/details/106235131
版权

elasticsearch的基本概念

cluster整个elasticsear----ch 默认就是集群状态，整个集群是一份完整、互备的数据。
node集群中的一个节点，一般只一个进程就是一个node
Shard分片，即使是一个节点中的数据也会通过hash算法，分成多个片存放，默认是5片。
Index相当于rdbms的database, 对于用户来说是一个逻辑数据库，虽然物理上会被分多个shard存放，也可能存放在多个node中。
Type类似于rdbms的table，但是与其说像table，其实更像面向对象中的class , 同一Json的格式的数据集合。
Document类似于rdbms的 row、面向对象里的object
Field相当于字段、属性

利用kibana学习 elasticsearch restful api (DSL)

1.es中保存的数据结构

public class  Movie {
	 String id;
     String name;
     Double doubanScore;
     List<Actor> actorList;
}

public class Actor{
String id;
String name;
}

这两个对象如果放在关系型数据库保存，会被拆成2张表，但是elasticsearch是用一个json来表示一个document。
所以它保存到es中应该是：

{
  “id”:”1”,
  “name”:”operation red sea”,
  “doubanScore”:”8.5”,
  “actorList”:[  
		{“id”:”1”,”name”:”zhangyi”},
		{“id”:”2”,”name”:”haiqing”},
		{“id”:”3”,”name”:”zhanghanyu”}
	]
}

2.对数据的操作

2.1 查看es中有哪些索引

GET /_cat/indices?v

在这里插入图片描述
es 中会默认存在一个名为.kibana的索引
表头的含义

healthgreen(集群完整) yellow(单点正常、集群不完整) red(单点不正常)
status是否能使用
index索引名
uuid索引统一编号
pri主节点几个
rep从节点几个
docs.count文档数
docs.deleted文档被删了多少
store.size整体占空间大小
pri.store.size主节点占
2.2 增加一个索引

PUT /movie_index

在这里插入图片描述

2.3 删除一个索引
  ES 是不删除也不修改任何数据 ,伪删除更新当前index的版本。

DELETE /movie_index

在这里插入图片描述

2.4 新增文档

格式 PUT /index/type/id

例：（如果之前没建过index或者type，es 会自动创建。）

PUT /movie_index/movie/1
{ "id":1,
  "name":"operation red sea",
  "doubanScore":8.5,
  "actorList":[  
		{"id":1,"name":"zhang yi"},
		{"id":2,"name":"hai qing"},
		{"id":3,"name":"zhang han yu"}
	]
}

PUT /movie_index/movie/2
{
  "id":2,
  "name":"operation meigong river",
  "doubanScore":8.0,
  "actorList":[  
		{"id":3,"name":"zhang han yu"}
	]
}

PUT /movie_index/movie/3
{
  "id":3,
  "name":"incident red sea",
  "doubanScore":5.0,
  "actorList":[  
		{"id":4,"name":"liu de hua"}
	]
}

在这里插入图片描述

2.5 直接用id查找

GET movie_index/movie/1

在这里插入图片描述

2.6 修改—整体替换

和新增没有区别

PUT /movie_index/movie/3
{
  "id":"3",
  "name":"incident red sea",
  "doubanScore":"5.0",
  "actorList":[  
		{"id":"1","name":"zhang guo li"}
	]
}
2.7 修改—某个字段 更新es商品中的排名
POST movie_index/movie/3/_update
{ 
  "doc": {
    "doubanScore":"7.0"
  } 
}

在这里插入图片描述

2.8 删除一个document

DELETE movie_index/movie/3

在这里插入图片描述

2.9 搜索type全部数据

GET movie_index/movie/_search

结果

{
  "took": 2,    //耗费时间 毫秒
  "timed_out": false, //是否超时
  "_shards": {
    "total": 5,   //发送给全部5个分片
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 3,  //命中3条数据
    "max_score": 1,   //最大评分
    "hits": [  // 结果
      {
        "_index": "movie_index",
        "_type": "movie",
        "_id": 2,
        "_score": 1,
        "_source": {
          "id": "2",
          "name": "operation meigong river",
          "doubanScore": 8.0,
          "actorList": [
            {
              "id": "1",
              "name": "zhang han yu"
            }
          ]
        }
          。。。。。。。。
          。。。。。。。。
      }

在这里插入图片描述

2.10 按条件查询(全部)
GET movie_index/movie/_search
{
  "query":{
    "match_all": {}
  }
}

在这里插入图片描述

2.11 按分词查询
GET movie_index/movie/_search
{
  "query":{
    "match": {"name":"red"}
  }
}

注意结果的评分
在这里插入图片描述

2.12 按分词子属性查询
GET movie_index/movie/_search
{
  "query":{
    "match": {"actorList.name":"zhang"}
  }
}

在这里插入图片描述

2.13 match phrase 按词组查询
GET movie_index/movie/_search
{
    "query":{
      "match_phrase": {"name":"operation red"}
    }
}

按短语查询，不再利用分词技术，直接用短语在原始数据中匹配
在这里插入图片描述

2.14 fuzzy查询
GET movie_index/movie/_search
{
    "query":{
      "fuzzy": {"name":"rad"}
    }
}

校正匹配分词，当一个单词都无法准确匹配，es通过一种算法对非常接近的单词也给与一定的评分，能够查询出来，但是消耗更多的性能。
在这里插入图片描述

2.15 查询后过滤
GET movie_index/movie/_search
{
    "query":{
      "match": {"name":"red"}
    },
    "post_filter":{
      "term": {
        "actorList.id": 3
      }
    }
}

在这里插入图片描述

2.16 查询前过滤（推荐）

其实准确来说，ES中的查询操作分为2种：查询（query）和过滤（filter）。查询即是之前提到的query查询，它（查询）默认会计算每个返回文档的得分，然后根据得分排序。而过滤（filter）只会筛选出符合的文档，并不计算得分，且它可以缓存文档。所以，单从性能考虑，过滤比查询更快。
换句话说，过滤适合在大范围筛选数据，而查询则适合精确匹配数据。一般应用时，应先使用过滤操作过滤数据，然后使用查询匹配数据。

GET movie_index/movie/_search 
{ 
    "query":{
        "bool":{
          "filter":[ {"term": {  "actorList.id": "1"  }},
                     {"term": {  "actorList.id": "3"  }}
           ], 
           "must":{"match":{"name":"red"}}
         }
    } 
}

term、terms过滤
term、terms的含义与查询时一致。term用于精确匹配、terms用于多词条匹配。不过既然过滤器适用于大氛围过滤，term、terms在过滤中使用意义不大。在项目中建议使用term。
Term: where id = ?
Terms: where id in ()
# select * from skuInfo where id=?
# select * from skuInfo where id in ()
在这里插入图片描述

2.17 过滤–按范围过滤
GET movie_index/movie/_search
{
   "query": {
     "bool": {
       "filter": {
         "range": {
            "doubanScore": {"gte": 8}
         }
       }
     }
   }
}

关于范围操作符：跟html标签中的转义字符一样！

gt 大于 lt 小于 gte 大于等于 lte 小于等于

在这里插入图片描述

2.18 排序
GET movie_index/movie/_search
{
  "query":{
    "match": {"name":"red sea"}
  }
  , "sort": [
    {
      "doubanScore": {
        "order": "desc"
      }
    }
  ]
}

在这里插入图片描述

2.19 分页查询
GET movie_index/movie/_search
{
  "query": { 
  	"match_all": {} 
  },
  //第几条开始查询！
  "from": 1,
  "size": 1
}

在这里插入图片描述

2.20 指定查询的字段
GET movie_index/movie/_search
{
  "query": { 
  	"match_all": {} 
  },
  "_source": ["name", "doubanScore"]
}

在这里插入图片描述

2.21 高亮
GET movie_index/movie/_search
{
    "query":{
      "match": {"name":"red sea"}
    },
    "highlight": {
      "fields": {"name":{} }
    }
    
}

在这里插入图片描述
修改自定义高亮标签

GET movie_index/movie/_search
{
    "query":{
      "match": {"name":"red sea"}
    },
    "highlight": {
      "post_tags": ["</span>"],
      "pre_tags": ["<span>"], 
      "fields": {"name":{} }
    }
}

在这里插入图片描述

2.22 聚合

取出每个演员共参演了多少部电影 – sql ： group by

GET movie_index/movie/_search
{ 
  "aggs": {
    "groupby_actor": {
      "terms": {
        "field": "actorList.name.keyword"  
      }
    } 
  }
}

在这里插入图片描述
每个演员参演电影的平均分是多少，并按评分排序

GET movie_index/movie/_search
{ 
  "aggs": {
    "groupby_actor_id": {
      "terms": {
        "field": "actorList.name.keyword" ,
        "order": {
          "avg_score": "desc"
          }
      },
      "aggs": {
        "avg_score":{
          "avg": {
            "field": "doubanScore" 
          }
        }
       }
    } 
  }
}

在这里插入图片描述

3 关于mapping

之前说type可以理解为table，那每个字段的数据类型是如何定义的呢
查看mapping

GET movie_index/_mapping/movie
在这里插入图片描述

实际上每个type中的字段是什么数据类型，由mapping定义。但是如果没有设定mapping系统会自动，根据一条数据的格式来推断出应该的数据格式。

true/false → boolean
1020 → long
20.1 → double，float
“2018-02-01” → date
“hello world” → text + keyword

默认只有text会进行分词，keyword是不会分词的字符串。mapping除了自动定义，还可以手动定义，但是只能对新加的、没有数据的字段进行定义。一旦有了数据就无法再做修改了。

注意：虽然每个Field的数据放在不同的type下,但是同一个名字的Field在一个index下只能有一种mapping定义。

4 中文分词

elasticsearch本身自带的中文分词，就是单纯把中文一个字一个字的分开，根本没有词汇的概念。但是实际应用中，用户都是以词汇为条件，进行查询匹配的，如果能够把文章以词汇为单位切分开，那么与用户的查询条件能够更贴切的匹配上，查询速度也更加快速。
分词器下载网址：https://github.com/medcl/elasticsearch-analysis-ik

4.1 安装

1.下载好的zip包，请放到 /usr/share/elasticsearch/plugins/ 下解压
[root@localhost plugins]# unzip elasticsearch-analysis-ik-5.6.4.zip

2.将压缩包文件删除！否则启动失败！

3.然后重启es
[root@localhost plugins]# service elasticsearch restart

4.2 测试使用

使用默认

GET movie_index/_analyze
{  
  "text": "我是中国人"
}

请观察结果

在这里插入图片描述
使用分词器

GET movie_index/_analyze
{  "analyzer": "ik_smart", 
  "text": "我是中国人"
}

请观察结果

在这里插入图片描述另外一个分词器 ik_max_word

GET movie_index/_analyze
{  "analyzer": "ik_max_word", 
  "text": "我是中国人"
}

请观察结果
在这里插入图片描述
能够看出不同的分词器，分词有明显的区别，所以以后定义一个type不能再使用默认的mapping了，要手工建立mapping, 因为要选择分词器。

4.3 基于中文分词搭建索引

1、建立mapping

PUT movie_chn
{
  "mappings": {
    "movie":{
      "properties": {
        "id":{
          "type": "long"
        },
        "name":{
          "type": "text"
          , "analyzer": "ik_smart"
        },
        "doubanScore":{
          "type": "double"
        },
        "actorList":{
          "properties": {
            "id":{
              "type":"long"
            },
            "name":{
              "type":"keyword"
            }
          }
        }
      }
    }
  }
}

2.插入数据

PUT /movie_chn/movie/1
{ "id":1,
  "name":"红海行动",
  "doubanScore":8.5,
  "actorList":[  
  		{"id":1,"name":"张译"},
  		{"id":2,"name":"海清"},
  		{"id":3,"name":"张涵予"}
 	]
}

PUT /movie_chn/movie/2
{
  "id":2,
  "name":"湄公河行动",
  "doubanScore":8.0,
  "actorList":[  
		{"id":3,"name":"张涵予"}
	]
}

PUT /movie_chn/movie/3
{
  "id":3,
  "name":"红海事件",
  "doubanScore":5.0,
  "actorList":[  
		{"id":4,"name":"张国立"}
	]
}

3.查询测试

GET /movie_chn/movie/_search
{
  "query": {
    "match": {
      "name": "红海战役"
    }
  }
}

GET /movie_chn/movie/_search
{
  "query": {
    "term": {
      "actorList.name": "张译"
    }
  }
}
4.4 自定义词库
	什么时候使用？
	当词库满足不了你的需要，可以使用自定义词库！

1.修改/usr/share/elasticsearch/plugins/ik/config/中的IKAnalyzer.cfg.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典 -->
        <entry key="ext_dict"></entry>
         <!--用户可以在这里配置自己的扩展停止词字典-->
        <entry key="ext_stopwords"></entry>
        <!--用户可以在这里配置远程扩展字典 -->
         <entry key="remote_ext_dict">http://192.168.xx.xxx/fenci/myword.txt</entry>
        <!--用户可以在这里配置远程扩展停止词字典-->
        <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

2.按照标红的路径利用nginx发布静态资源
在nginx.conf中配置

  server {
        listen  80;
        server_name  192.168.xx.xxx;
        location /fenci/ {
           root es;
    }
  }

3.并且在/usr/local/nginx/下建/es/fenci/目录，目录下加myword.txt
在myword.txt中编写关键词，每一行代表一个词。

4.然后重启es服务器，重启nginx。在kibana中测试分词效果

5.配置完成分词之后，要重启es .
若分词失败：看日志 cd /var/log/elasticsearch/ vim my-es.log
更新完成后，es只会对新增的数据用新词分词。历史数据是不会重新分词的。
如果想要历史数据重新分词。需要执行：

POST movies_index_chn/_update_by_query?conflicts=proceed

爪哇国猿首
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
ElasticSearch全文检索(1)
KKyouDp的博客
09-23 620
手把手教你使用ELasticsearch
simplemt:一个简单、扁平的移动网络应用程序，用于检索 EMT（西班牙马德里的公共巴士公司）的时间表
07-13
简单MT是一个专为移动设备设计的轻量级网络应用程序，其主要功能是帮助用户获取西班牙马德里市公共交通系统——EMT（Empresa Municipal de Transportes）的公交路线及时刻表信息。这个应用采用了简洁、扁平化的用户...
ELK-全文检索技术-kibana操作elasticsearch
weixin_30877493的博客
09-26 205
前言:建议kibana语法一定要学好! 1 软件安装 1.1 ES的安装 第一步：解压压缩包，放到一个没有中文没有空格的位置 第二步：修改配置文件 1、 jvm.options 第22和23行 -Xms128m -Xmx128m 2、 elasticsearch.yml 第33行和37行 path.dat...
KIBANA的安装教程（超详细）
最新发布
2301_81547508的博客
05-31 1935
kibana的介绍 和安装教程
ElasticSearch(Kibana)全文搜索工具的使用
mkhgyj6645的博客
09-03 163
ElasticSearch学习
Elasticsearch全文搜索技术之二kibana的简介和使用
张晨光老师的播客
08-27 1097
Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索，查看，用来交互存储在Elasticsearch索引中的数据。text：该类型被用来索引长文本，在创建索引前会将这些文本进行分词，转化为词的组合，建立 索引；keyword：该类型不需要进行分词，可以被用来检索过滤、排序和聚合， 可以满足电子邮箱地址、主机名、状态码、邮政编码和标签等数据的要求。数值型：long、integer、short、byte、double、float。//向es中存储对象。//向es中存储对象。...
ElasticSearch全文检索、可视化Kibana——docker安装运行
Mycainao_Gao的博客
08-11 273
ElasticSearch是什么？ 一、下载镜像文件 docker pull elasticsearch:7.4.2 （存储检索数据） docker pull kibana:7.4.2 （可视化工具） PS：这里需要注意的是，可视化工具要和elasticsearch的版本一致 下载完成后用docker images命令查看一下镜像在不在 二、安装ElasticSearch 2.1》在linux下创建目录和配置文件的目录(用来被docker挂载） ** mkdir -p /mydata/elast
Python库 | jupyterlab-language-pack-es-ES-3.1.post4.tar.gz
03-08
标签中提到了"elasticsearch"，这是一个流行的开源全文搜索引擎，常用于大数据分析和实时数据分析。在JupyterLab环境中，用户可能需要集成Elasticsearch来查询和分析存储在Elasticsearch集群中的大量数据。"python...
Stemm-es: A spanish stemmer-开源
05-04
Stemm-es 的开源特性为西班牙语NLP任务提供了便利，如情感分析、搜索引擎优化（SEO）、机器翻译、信息检索和文本分类等。它允许开发者无需从零开始构建词干提取功能，而是可以专注于更高级别的应用逻辑。此外，开源...
shownot.es:Showot.es 网页的 Repo
07-12
"shownot.es-" 可能是指这个分支是专门为 showot.es 项目创建的，而 ".es" 是西班牙顶级域名，但在这里可能仅表示项目名称的一部分。这个文件名可能是一个解压后的文件夹，里面包含了整个项目的所有源代码文件和资源...
aluraflix2fun-es
03-29
"aluraflix2fun-es" 是一个与JavaScript相关的项目，根据其命名，可能是针对西班牙语用户的一个在线学习平台或娱乐应用。JavaScript是一种广泛使用的编程语言，尤其在Web开发领域，用于实现客户端交互、动态网页以及...
elasticsearch安装kibana插件
weixin_30819163的博客
07-18 73
1、下载 2、解压将解压后的文件放到D:\DevTools\kibana-4.6.0-windows-x86路径下 3、修改配置文件D:\DevTools\kibana-4.6.0-windows-x86\config目录下的kibana.yml，elasticsearch.url: ip与elasticsearch配置相同 4、启动 双击D:\DevTools\kibana-4.6....
【Elasticsearch全文搜索引擎实战】之Kibana搭建
Mantou的博客
03-11 394
1. Kibana介绍 Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。 Kibana让海量数据更容易理解。它操作简单，基于浏览器的用户界面可以快速创建仪表板（dashboard）实时显示Elasticsearch查询动态。 设置Kibana非...
ElasticSearch全文检索安装+Kibana管控台(docker)
你好啊cbw
04-06 2735
安装ES 1.拉取镜像 docker pull elasticsearch:5.6.8 2.启动容器(9200管控台端口、9300是es端口) docker run -di --name=es -p 9200:9200 -p 9300:9300 elasticsearch:5.6.8 3.输入http://192.168.100.129:9200/ 4.进入容器 docker exec -it es /bin/bash 5.修改elasticsearch.yml，es5后默认不支持远程访
全文搜索引擎 Elasticsearch 入门（ik，kibana，x-pack）
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
07-02 5720
全文搜索属于最常见的需求，开源的 Elasticsearch （以下简称 Elastic）是目前全文搜索引擎的首选。 它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它...
ES搜索(ElasticSearch)(四) Kibana
YLJ_CSDN的博客
07-06 288
开启Kibana之旅 Kibana 是为 Elasticsearch设计的开源分析和可视化平台。你可以使用 Kibana 来搜索，查看存储在 Elasticsearch 索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化，以图表的形式展现出来。 直接下载对应平台的版本解压就可以，我的版本是Window kibana7.7.1，下装地址 config/kibana.yml 建议设置监听端口号、es地址、索引名 config/kibana.yml 建议配置成中文 点击kibana.bat启动 .
Elasticsearch全文检索技术 一篇文章即可从入门到精通（Elasticsearch安装，安装kibana，安装ik分词器，数据的增删改查，全文检索查询，聚合aggregations）
程序员猫爪
08-18 491
Elasticsearch，Linux下的安装和使用，安装kibana，安装ik分词器，API（数据的增删改查），全文检索查询，聚合aggregations
ElasticSearch全文搜索引擎概述、使用Kibana和JAVA的简单操作
weixin_60359542的博客
07-20 481
狭义的理解主要针对文本数据的搜索。数据可分为“结构化”数据(关系数据库表形式管理的数据)，半结构化数据(XML文档、JSON文档)，和非结构化数据(WORD、PDF)，通常而言在结构化的数据中搜索性能是比较高的，全文搜索的目的就是把非结构化的数据变成有结构化的数据进行搜索，从而提高搜索效率。Lucene是apache下的一个开源的全文检索引擎工具包(一堆jar包)。它为软件开发人员提供一个简单易用的工具包（类库），以方便的在小型目标系统中实现全文检索的功能。
全文检索工具elasticsearch和kibana安装
weixin_30922589的博客
09-02 158
一、安装elasticsearch 1、拷贝elasticsearch-5.6.4.rpm到/opt目录下「cenos7」 systemctl list-unit-files|grep elasticsearch 2、启动之前为elasticsearch配置jdk vim /etc/sysconfig/elasticsearch 中修改JAVA_HOME路径的路...
ElasticSearch：全文检索利器与企业级搜索引擎详解
全文检索服务ElasticSearch是一种强大的搜索引擎解决方案，它基于Apache Lucene库，专注于提供分布式、实时的全文搜索功能。...通过深入学习和实践，开发者可以充分利用Elasticsearch为自己的项目带来高效的搜索体验。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值