ES文档分析和文档展示

已于 2022-06-08 08:44:17 修改
阅读量421 收藏
点赞数
分类专栏： # Elasticsearch 文章标签： elasticsearch
于 2022-06-08 00:05:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/root_zhb/article/details/125164205
版权

ES文档分析和文档展示

文档分析

分析包含下面的过程：

  • 将一块文本分成适合于倒排索引的独立的词条。
  • 将这些词条统一化为标准格式以提高它们的“可搜索性”，或者recall。

分析器执行上面的工作。分析器实际上是将三个功能封装到了一个包里：

  • 字符过滤器：首先，字符串按顺序通过每个字符过滤器 。他们的任务是在分词前整理字符串。一个字符过滤器可以用来去掉 HTML，或者将 & 转化成 and。
  • 分词器：其次，字符串被分词器分为单个的词条。一个简单的分词器遇到空格和标点的时候，可能会将文本拆分成词条。
  • Token 过滤器：最后，词条按顺序通过每个 token 过滤器 。这个过程可能会改变词条（例如，小写化Quick ），删除词条（例如， 像 a， and， the 等无用词），或者增加词条（例如，像jump和leap这种同义词）

内置分析器

Elasticsearch还附带了可以直接使用的预包装的分析器。接下来我们会列出最重要的分析器。为了证明它们的差异，我们看看每个分析器会从下面的字符串得到哪些词条：

"Set the shape to semi-transparent by calling set_trans(5)"

  • 标准分析器

    标准分析器是Elasticsearch 默认使用的分析器。它是分析各种语言文本最常用的选择。
    它根据Unicode 联盟定义的单词边界划分文本。删除绝大部分标点。最后，将词条小写。它会产生：

    set, the, shape, to, semi, transparent, by, calling, set_trans, 5

  • 简单分析器
    简单分析器在任何不是字母的地方分隔文本，将词条小写。它会产生：

    set, the, shape, to, semi, transparent, by, calling, set, trans

  • 空格分析器
    空格分析器在空格的地方划分文本。它会产生:

    Set, the, shape, to, semi-transparent, by, calling, set_trans(5)

  • 语言分析器
    特定语言分析器可用于很多语言。它们可以考虑指定语言的特点。例如，英语分析器附带了一组英语无用词（常用单词，例如and或者the ,它们对相关性没有多少影响），它们会被删除。由于理解英语语法的规则，这个分词器可以提取英语单词的词干。

    英语分词器会产生下面的词条：

    set, shape, semi, transpar, call, set_tran, 5

    注意看transparent、calling和 set_trans已经变为词根格式。

分析器适用场景

索引时和查询时，使用相同的的分析过程

当我们索引一个文档，它的全文域被分析成词条以用来创建倒排索引。但是，当我们在全文域搜索的时候，我们需要将查询字符串通过相同的分析过程，以保证我们搜索的词条格式与索引中的词条格式一致。

全文查询，理解每个域是如何定义的，因此它们可以做正确的事：

  • 当你查询一个全文域时，会对查询字符串应用相同的分析器，以产生正确的搜索词条列表。
  • 当你查询一个精确值域时，不会分析查询字符串，而是搜索你指定的精确值。

测试分析器

使用analyze API查看：文档的分词过程和实际被存储到索引中的词条
在消息体里，指定分析器和要分析的文本。

#GET http://localhost:9200/_analyze
{
    "analyzer": "standard",
    "text": "Text to analyze"
}

结果中每个元素代表一个单独的词条：

{
    "tokens": [
        {
            "token": "text",
            "start_offset": 0,
            "end_offset": 4,
            "type": "<ALPHANUM>",
            "position": 0
        },
        {
            "token": "to",
            "start_offset": 5,
            "end_offset": 7,
            "type": "<ALPHANUM>",
            "position": 1
        },
        {
            "token": "analyze",
            "start_offset": 8,
            "end_offset": 15,
            "type": "<ALPHANUM>",
            "position": 2
        }
    ]
}
  • token是实际存储到索引中的词条。
  • start_ offset 和end_ offset指明字符在原始字符串中的位置。
  • position指明词条在原始文本中出现的位置。

指定分析器

当Elasticsearch在你的文档中检测到一个新的字符串域，它会自动设置其为一个全文字符串域，使用 标准 分析器对它进行分析。你不希望总是这样。可能你想使用一个不同的分析器，适用于你的数据使用的语言。有时候你想要一个字符串域就是一个字符串域，不使用分析，直接索引你传入的精确值，例如用户 ID 或者一个内部的状态域或标签。要做到这一点，我们必须手动指定这些域的映射。

IK分词器

通过 Postman 发送 GET 请求查询分词效果

# GET http://localhost:9200/_analyze
{
	"text":"测试单词"
}

ES 的默认分词器无法识别中文中测试、 单词这样的词汇，而是简单的将每个字拆完分为一个词。

{
    "tokens": [
        {
            "token": "测",
            "start_offset": 0,
            "end_offset": 1,
            "type": "<IDEOGRAPHIC>",
            "position": 0
        },
        {
            "token": "试",
            "start_offset": 1,
            "end_offset": 2,
            "type": "<IDEOGRAPHIC>",
            "position": 1
        },
        {
            "token": "单",
            "start_offset": 2,
            "end_offset": 3,
            "type": "<IDEOGRAPHIC>",
            "position": 2
        },
        {
            "token": "词",
            "start_offset": 3,
            "end_offset": 4,
            "type": "<IDEOGRAPHIC>",
            "position": 3
        }
    ]
}

这样的结果显然不符合我们的使用要求，所以我们需要下载 ES 对应版本的中文分词器。

IK 中文分词器下载网址

将解压后的后的文件夹放入 ES 根目录下的 plugins 目录下，重启 ES 即可使用。

我们这次加入新的查询参数"analyzer":“ik_max_word”。

# GET http://localhost:9200/_analyze
{
	"text":"测试单词",
	"analyzer":"ik_max_word"
}
  • ik_max_word：会将文本做最细粒度的拆分。
  • ik_smart：会将文本做最粗粒度的拆分。

使用中文分词后的结果为：

{
    "tokens": [
        {
            "token": "测试", 
            "start_offset": 0, 
            "end_offset": 2, 
            "type": "CN_WORD", 
            "position": 0
        }, 
        {
            "token": "单词", 
            "start_offset": 2, 
            "end_offset": 4, 
            "type": "CN_WORD", 
            "position": 1
        }
    ]
}

ES 中也可以进行扩展词汇，首先查询

#GET http://localhost:9200/_analyze

{
    "text":"恕瑞玛",
    "analyzer":"ik_max_word"
}

仅仅可以得到每个字的分词结果，我们需要做的就是使分词器识别到 恕瑞玛 也是一个词语。

{
    "tokens": [
        {
            "token": "恕",
            "start_offset": 0,
            "end_offset": 1,
            "type": "CN_CHAR",
            "position": 0
        },
        {
            "token": "瑞",
            "start_offset": 1,
            "end_offset": 2,
            "type": "CN_CHAR",
            "position": 1
        },
        {
            "token": "玛",
            "start_offset": 2,
            "end_offset": 3,
            "type": "CN_CHAR",
            "position": 2
        }
    ]
}
  1. 首先进入 ES 根目录中的 plugins 文件夹下的 ik 文件夹，进入 config 目录，创建 custom.dic文件，写入“恕瑞玛”。
  2. 同时打开 IKAnalyzer.cfg.xml 文件，将新建的 custom.dic 配置其中。
  3. 重启 ES 服务器 。
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict">custom.dic</entry>
	 <!--用户可以在这里配置自己的扩展停止词字典-->
	<entry key="ext_stopwords"></entry>
	<!--用户可以在这里配置远程扩展字典 -->
	<!-- <entry key="remote_ext_dict">words_location</entry> -->
	<!--用户可以在这里配置远程扩展停止词字典-->
	<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

扩展后再次查询

# GET http://localhost:9200/_analyze
{
	"text":"恕瑞玛",
	"analyzer":"ik_max_word"
}

返回结果

{
    "tokens": [
        {
            "token": "恕瑞玛",
            "start_offset": 0,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 0
        }
    ]
}

自定义分析器

虽然Elasticsearch带有一些现成的分析器，然而在分析器上Elasticsearch真正的强大之处在于，你可以通过在一个适合你的特定数据的设置之中组合字符过滤器、分词器、词汇单元过滤器来创建自定义的分析器。在分析与分析器我们说过，一个分析器就是在一个包里面组合了三种函数的一个包装器，三种函数按照顺序被执行：

  1. 字符过滤器
    字符过滤器用来整理一个尚未被分词的字符串。例如，如果我们的文本是HTML格式的，它会包含像<p>或者<div>这样的HTML标签，这些标签是我们不想索引的。我们可以使用html清除字符过滤器来移除掉所有的HTML标签，并且像把 &Aacute;转换为相对应的Unicode字符Á 这样，转换HTML实体。一个分析器可能有0个或者多个字符过滤器。

  2. 分词器
    一个分析器必须有一个唯一的分词器。分词器把字符串分解成单个词条或者词汇单元。标准分析器里使用的标准分词器把一个字符串根据单词边界分解成单个词条，并且移除掉大部分的标点符号，然而还有其他不同行为的分词器存在。

    例如，关键词分词器完整地输出接收到的同样的字符串，并不做任何分词。空格分词器只根据空格分割文本。正则分词器根据匹配正则表达式来分割文本。

  3. 词单元过滤器
    经过分词，作为结果的词单元流会按照指定的顺序通过指定的词单元过滤器。词单元过滤器可以修改、添加或者移除词单元。我们已经提到过lowercase和stop词过滤器，但是在Elasticsearch 里面还有很多可供选择的词单元过滤器。词干过滤器把单词遏制为词干。ascii_folding过滤器移除变音符，把一个像"très”这样的词转换为“tres”。

    ngram和 edge_ngram词单元过滤器可以产生适合用于部分匹配或者自动补全的词单元。

自定义分析器例子
接下来，我们看看如何创建自定义的分析器：

#PUT http://localhost:9200/my_index

{
    "settings": {
        "analysis": {
            "char_filter": {
                "&_to_and": {
                    "type": "mapping", 
                    "mappings": [
                        "&=> and "
                    ]
                }
            }, 
            "filter": {
                "my_stopwords": {
                    "type": "stop", 
                    "stopwords": [
                        "the", 
                        "a"
                    ]
                }
            }, 
            "analyzer": {
                "my_analyzer": {
                    "type": "custom", 
                    "char_filter": [
                        "html_strip", 
                        "&_to_and"
                    ], 
                    "tokenizer": "standard", 
                    "filter": [
                        "lowercase", 
                        "my_stopwords"
                    ]
                }
            }
        }
    }
}

索引被创建以后，使用 analyze API 来 测试这个新的分析器：

# GET http://127.0.0.1:9200/my_index/_analyze
{
    "text":"The quick & brown fox",
    "analyzer": "my_analyzer"
}

返回结果为：

{
    "tokens": [
        {
            "token": "quick",
            "start_offset": 4,
            "end_offset": 9,
            "type": "<ALPHANUM>",
            "position": 1
        },
        {
            "token": "and",
            "start_offset": 10,
            "end_offset": 11,
            "type": "<ALPHANUM>",
            "position": 2
        },
        {
            "token": "brown",
            "start_offset": 12,
            "end_offset": 17,
            "type": "<ALPHANUM>",
            "position": 3
        },
        {
            "token": "fox",
            "start_offset": 18,
            "end_offset": 21,
            "type": "<ALPHANUM>",
            "position": 4
        }
    ]
}

文档展示——Kibana

Kibana是一个免费且开放的用户界面，能够让你对Elasticsearch 数据进行可视化，并让你在Elastic Stack 中进行导航。你可以进行各种操作，从跟踪查询负载，到理解请求如何流经你的整个应用，都能轻松完成。

7.8.0版本Kibana下载网址

  1. 解压缩下载的 zip 文件。

  2. 修改 config/kibana.yml 文件。

    # 默认端口
server.port: 5601
# ES 服务器的地址
elasticsearch.hosts: ["http://localhost:9200"]
# 索引名
kibana.index: ".kibana"
# 支持中文
i18n.locale: "zh-CN"

  3. Windows 环境下执行 bin/kibana.bat 文件。（首次启动有点耗时）

  4. 通过浏览器访问：http://localhost:5601。
    在这里插入图片描述

root_zhb
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ES 文档与索引介绍
「 虚幻私塾」
04-15 3564
Python微信订餐小程序课程视频 https://blog.csdn.net/m0_56069948/article/details/122285951 Python实战量化交易理财系统 https://blog.csdn.net/m0_56069948/article/details/122285941 在之前的文章中，介绍了 ES 整体的架构和内容，这篇主要针对 ES 最小的存储单位 - 文档以及由文档组成的索引进行详细介绍。 会涉及到如下的内容： 文档的 CURD 操作。 Dynamic Mapp
ES基础篇 常用API之文档API
u010088278的博客
06-04 2873
前面写了一篇常用API之索引类、映射类、别名类API，主要是介绍Elasticsearch的集群类、索引类、映射类、别名类等，这些在开发中或许不会经常用到，但API的存在定有它存在的价值，作为程序猿的我们，或使用Java，或使用Python等等，虽然使用编程语言调用接口，但有时候，需要便捷的操作、查看相关信息的时候，明显在Kinbana上操作API会更加便捷，这或许就是它所存在的意义，所以这次在追加一篇文档API，供大家开发的时候参考。
ElasticSearch学习笔记-第五章 ES文档分析详解
weixin_42584100的博客
07-24 416
ES文档字符过滤器、分词器、词项过滤器、IK分词器详解
强烈推荐：Elasticsearch中文文档 —— 极致翻译与深度解析
gitblog_00059的博客
06-17 718
强烈推荐：Elasticsearch中文文档 —— 极致翻译与深度解析 项目地址:https://gitcode.com/dev2007/elasticsearch-doc 项目介绍 在这个数字化时代，数据成为推动各行各业发展的核心力量。而如何高效存储、检索以及分析这些海量的数据，则成为每个开发者面临的挑战。Elasticsearch，作为一款领先的分布式搜索引擎，以其卓越的性能和灵活性，在全球范...
Elasticsearch--- ES文档的基本操作
weixin_45889291的博客
05-22 173
有关搜索引擎---Elasticsearch(ES)的快速入门手册
esbuild中文文档-快速入门（Getting Started）
专注前端、专注互联网、分享原创的博客
09-11 1569
受够了webpack缓慢的打包速度，越来越多的团队开始探索采用更加底层的语言来编写前端的打包工具，以此来突破JavaScript语言的瓶颈。esbuild便是其中非常具有代表性的工具之一，它采用Go语言编写，经过了vite和nest.js的检验，开创了构建工具性能的新时代。
elasticsearch-6.8.3-API文档-中文版.zip
07-13
赠送原API文档：elasticsearch-6.8.3-javadoc.jar； 赠送源代码：elasticsearch-6.8.3-sources.jar； 赠送Maven依赖信息文件：elasticsearch-6.8.3.pom； 包含翻译后的API文档：elasticsearch-6.8.3-javadoc-API文档...
elasticsearch-6.3.0-API文档-中文版.zip
06-25
赠送原API文档：elasticsearch-6.3.0-javadoc.jar； 赠送源代码：elasticsearch-6.3.0-sources.jar； 赠送Maven依赖信息文件：elasticsearch-6.3.0.pom； 包含翻译后的API文档：elasticsearch-6.3.0-javadoc-API文档...
elasticsearch-6.8.3-API文档-中英对照版.zip
07-13
赠送原API文档：elasticsearch-6.8.3-javadoc.jar； 赠送源代码：elasticsearch-6.8.3-sources.jar； 赠送Maven依赖信息文件：elasticsearch-6.8.3.pom； 包含翻译后的API文档：elasticsearch-6.8.3-javadoc-API文档...
elasticsearch-6.2.3-API文档-中文版.zip
07-12
赠送原API文档：elasticsearch-6.2.3-javadoc.jar； 赠送源代码：elasticsearch-6.2.3-sources.jar； 赠送Maven依赖信息文件：elasticsearch-6.2.3.pom； 包含翻译后的API文档：elasticsearch-6.2.3-javadoc-API文档...
ElasticSearch学习文档pdf
最新发布
06-17
ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。...JSON 进行数据索引。...Elasticsearch旨在解决所有这些问题和更多的。
ES技术原理
05-10
华为教程，内容由浅入深，适合各个层次学习，欢迎大家讨论
Elasticsearch文本分析深度解析
一起coding，一起嗨。
04-28 647
Elasticsearch文本分析深度解析
es 7.x 进阶 文档分析
Java持续实践
02-27 813
文章目录文档分析的过程测试分词器测试标准的分词器指定分析器IK 分词器IK 分词器扩展词汇自定义分析器 文档分析的过程 将文档分成适合于倒排索引的独立的词条. 将词条统一化为标准格式, 例如英语中去除时态 分析器执行上面的内容, 实际上是将上面的功能封装到了包里. 字符过滤器 : 将字符串按顺序通过每个字符过滤器, 在分词前整理字符串, 一个字符过滤器用来去掉html, 或者将 & 转化为 and 分词器: 字符串被分词器分为单个的词条, 一个简单的分词器遇到空格和标点符号的时候, 会将文
ElasticSearch学习总结（二）：ES介绍与架构说明
热门推荐
不积跬步，无以至千里；不积小流，无以成江海！
02-28 1万+
本文主要从概念以及架构层面对Elasticsearch做一个简单的介绍，在介绍ES之前，会先对ES的“发动机”Lucene做一个简单的介绍 1. Lucene介绍 为了更深入地理解ElasticSearch的工作原理，特别是索引和查询这两个过程，理解Lucene的工作原理至关重要。本质上，ElasticSearch是用Lucene来实现索引的查询功能的。 1.1 定义 Lucene是一...
es文档操作
CV工程师呀
02-08 3663
1.kibana操作 1.1新增文档 语法： POST /索引库名/_doc/文档id { "字段1": "值1", "字段2": "值2", "字段3": { "子属性1": "值3", "子属性2": "值4" }, // ... } 示例： POST /heima/_doc/1 { "info": "黑马程序员Java讲师", "email": "zy@itcast.cn", "name": {
Elasticsearch
学海无涯,我用JAVA
06-08 1491
中文es文档https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 文档元数据 一个文档不仅仅包含它的数据 ，也包含 元数据 —— 有关 文档的信息。 三个必须的元数据元素如下： _index 文档在哪存放 _type 文档表示的对象类别 _id 文档唯一标识 当我们访问一个安装好的es页面的时候,应该是这个样...
【ES】Elasticsearch Java Rest Client （Document APIs）官方文档中文翻译
qq_44667083的博客
04-18 1635
这里写目录标题一、文档APIs1.单文档 APIIndex APIGet APIGet Source APIExists APIDelete APIUpdate APITerm Vectors API2.多文档 APIBulk APIMulti-Get APIReindex APIUpdate By Query APIDelete By Query APIRethrottle APIMulti Term Vectors API 官网连接 一、文档APIs Java 高级 REST 客户端支持以下文档 A
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值