ES-分析器

最新推荐文章于 2024-05-31 11:37:58 发布
最新推荐文章于 2024-05-31 11:37:58 发布
阅读量157 收藏
点赞数
分类专栏： ES 文章标签： elasticsearch 大数据 搜索引擎 分析器 ik 自定义词库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43259860/article/details/134840231
版权

分析器

两种常用的英语分析器

1 测试工具

#可以通过这个来测试分析器 实际生产环境中我们肯定是配置在索引中来工作
GET _analyze
{
  "text": "My Mom's Son is an excellent teacher",
  "analyzer": "english"
}

2 实际效果
比如我们有下面这样一句话：My Mom’s Son is an excellent teacher

GET _analyze
{
  "text": "My Mom's Son is an excellent teacher",
  "analyzer": "english"
}

分析器分析以后,大写统一转换为了小写，is 被省了 等，所以经过这个分析器处理以后会得到下面的结果
在这里插入图片描述
我们换一个分析器结果就会不一样

GET _analyze
{
  "text": "My Mom's Son is an excellent teacher",
  "analyzer": "standard"
}

结果如下：
在这里插入图片描述

char_filter

  • html_strip 用来处理html标签
PUT my_index
{
  "settings": {
    "analysis": {
      "char_filter": {
      #这里是申明
        "my_char_filter": {
          "type": "html_strip", #过滤html 标签 
          "escaped_tags": [
            "a" #忽略a标签
          ]
        }
      },
      "analyzer": {
      #这里是使用
        "my_analyzer": {
          "char_filter": [
            "my_char_filter"
          ],
          "tokenizer": "keyword"
        }
      }
    }
  }
}

GET /my_index/_analyze 
{
  "text" : "<html>fdsf</html>",
  "analyzer": "my_analyzer"
}

可以看到html这个表签被替换掉了：
在这里插入图片描述

  • mapping 用来处理映射
PUT my_index
{
  "settings": {
    "analysis": {
      "char_filter": {
        "my_char_filter": {
          "type": "mapping",
          "mappings": ["S=>*","B=>*"]
        }
      },
      "analyzer": {
        "my_analyzer": {
          "char_filter": [
            "my_char_filter"
          ],
          "tokenizer": "keyword"
        }
      }
    }
  }
}

GET /my_index/_analyze 
{
  "text" : "总是加班真SB",
  "analyzer": "my_analyzer"
}

结果如下：
在这里插入图片描述

  • pattern_replace
PUT my_index
{
  "settings": {
    "analysis": {
      "char_filter": {
        "my_char_filter": {
          "type": "pattern_replace",
          "pattern":"(\\d{3})\\d(\\d{4})",
          "replacement" : "$1****$2"
        }
      },
      "analyzer": {
        "my_analyzer": {
          "char_filter": [
            "my_char_filter" #这里是可以写多个的
          ],
          "tokenizer": "keyword"
        }
      }
    }
  }
}

GET /my_index/_analyze 
{
  "text" : "1008610086",
  "analyzer": "my_analyzer"
}

在这里插入图片描述

Filter

  • synonym_graph
PUT my_index
{
  "settings": {
    "analysis": {
      "filter": {
        "my_filter": {
          "type": "synonym_graph",
          "synonyms_path" : "analysis/analysis.txt" #这里修改文件好像是不能直接生效需要重新创建索引
        }
      },
      "analyzer": {
        "my_analyzer": {
          "filter": [
            "my_filter"
          ],
          "tokenizer": "keyword"
        }
      }
    }
  }
}

GET /my_index/_analyze 
{
  "text" : ["liyong","love","baby"],
  "analyzer": "my_analyzer"
}

运行结果如下：
在这里插入图片描述
也可以直接写到下面：

PUT my_index
{
  "settings": {
    "analysis": {
      "filter": {
        "my_filter": {
          "type": "synonym_graph",
          "synonyms" : ["liyong,love,baby=>99"] #直接把映射的东西写到这里
        }
      },
      "analyzer": {
        "my_analyzer": {
          "filter": [
            "my_filter"
          ],
          "tokenizer": "keyword"
        }
      }
    }
  }
}

GET /my_index/_analyze 
{
  "text" : ["liyong","love","baby"],
  "analyzer": "my_analyzer"
}

在这里插入图片描述

GET my_index/_analyze
{
 "tokenizer": "standard",
 "filter":{
 "type": "condition", #条件也就是根据下面的条件
 "filter":"uppercase", #转换为大写
 "script": {
 "source": "token.getTerm().length()<5" #小于5的字符串替换为大写
 }
 },
 "text":["assas assa sasa dsdsdsdsdsd sdsdsdss"]
}

在这里插入图片描述

  • stop
    Stopwords⽤于删除不要的介词和词语,以下为简写
PUT my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "type": "standard",
          "stopwords": [
            "me",
            "you"
          ]
        }
      }
    }
  }
}

也可以这样写：

PUT my_index
{
  "settings": {
    "analysis": {
      "filter": {
        "my_filter": {
          "type": "stop",
          "stopwords": [
            "me",
            "you"
          ]
        }
      },
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "standard",
          "filter": [
            "my_filter"
          ]
        }
      }
    }
  }
}

自定义分析器

PUT my_index
{
  "settings": {
    "analysis": {
      "char_filter": {
        "my_char_filter": {
          "type": "mapping",
          "mappings": [
            "&=>and",
            "|=>or"
          ]
        }
      },
      "filter": {
        "my_filter": {
          "type": "stop",
          "stopwords": [
            "is",
            "in",
            "a",
            "at"
          ]
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "pattern",
          "pattern": "[ ,.!]"
        }
      },
      "analyzer": {
        "my_analyzer": {
          "char_filter": [
            "my_char_filter"
          ],
          "filter": [
            "my_filter"
          ],
          "tokenizer": "my_tokenizer",
          "type": "custom" #指定自定义
        }
      }
    }
  }
}

tokenizer 重写了分词方式 比如这个例子就是按照, . !来分割，然后进行后续的过滤处理，在实际生产环境中非常重要。

中文分词器

ik下载
安装到插件下面：
在这里插入图片描述

#由于没有对应的版本需要修改这个文件强行改成我们的版本
vim plugin-descriptor.properties

在这里插入图片描述
注意ik文件的所属用户和所属组

  • 使用
GET /my_index/_analyze
{
  "text": "我是一个兵来自老百姓",
  "analyzer": "ik_smart"
}

在这里插入图片描述
在这里插入图片描述

  • 自定义分词库
    我再config 新建一个目录config/custom.dic 自定义输入
    在这里插入图片描述
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典 -->
        <entry key="ext_dict">./custom/custom.dic;./custom/custom1.dic</entry> #如果有多个用;隔开
         <!--用户可以在这里配置自己的扩展停止词字典-->
        <entry key="ext_stopwords"></entry>
        <!--用户可以在这里配置远程扩展字典 --> #这里支持远程网址词典获取这样做的好处是不用重启es 这里就可以写一个controller 来把词典打印到网页上 https://blog.csdn.net/qq_34304427/article/details/123539694?spm=1001.2014.3001.5502 可以参考这篇博客
        <!-- <entry key="remote_ext_dict">words_location</entry> -->
        <!--用户可以在这里配置远程扩展停止词字典-->
        <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

GET /my_index/_analyze
{
  "text": "我是一个兵来自老百姓,我真的好想你宝宝",
  "analyzer": "ik_smart"
}

在这里插入图片描述

developer@liyong
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch - 分析器以及是否区分大小写 - 学习/实践
william_n的博客
12-06 828
1.应用场景 主要用于使用ES做搜索时， 了解其中的原理以及应对方案。 2.学习/操作 1.文档阅读 Elasticsearch分析器结构组成 - Jong_L - 博客园 分析与分析器 | Elasticsearch: 权威指南 | Elastic ES之分析器(Analyzer) - 简书 elasticsearch分析器 - 简书 Analysis | Elasticsearch Reference [5.5] |
ElasticSearch - Analyzer 文本分析器
袭冷
02-15 578
一、关于 1、概念相关 文本分析是将非结构化文本转换为结构化格式，以便于搜索的过程 文本分析器使 ElasticSearch 能够执行全文检索，返回所有相关的结果，而不仅仅是精确的匹配 2、组成部分 文本分析器由 字符过滤器、分词器、词项过滤器 三个构建块组成 字符过滤器（character filters） 接收原始文本，并对文本进行过滤处理，如处理文本中的html标签字符或将罗马数字转换成阿...
elasticsearch-es 分析器
面朝大海，春暖花开
10-24 477
elasticsearch-es 分析器 elasticsearch-es 分析器 analysis 分析 分析器，分词器，分词过滤器 分析器 分词器 分词过滤器 analysis 分析 分析是在文档被发送并加入倒排索引之前 ，es 会先对文本进行一系列处理 字符过滤： 使用字符过滤器转变字符， 如将hello es改成hello elasticsearch 文本切分为分词： 将文本切分为单个或者多个分词 分词过滤： 使用分词过滤器转变每个分词 分词索引：将分词存储到索引中 分析器，
ElasticSearch系列 - SpringBoot整合ES：分析器
你今天真好看呀
04-17 1128
当系统内置的分析器不满足需求时，用户可以使用自定义分析器。在有些场景中，某个文本字段不是自然语言而是在某种规则下的编码。① 创建索引时使用自定义分词器在settings部分中，定义了一个名为“comma_analyzer”的分析器，它使用名为“comma_tokenizer”的分词器。该分词器使用逗号作为分隔符，将文本分成多个词条。这个分析器可以用于分析“title”字段中的文本。在mappings部分中，title属性是一个文本类型，但使用了之前定义的“comma_analyzer”分析器进行分析。
Elasticsearch---分析器（analysis）
silmeweed的博客
08-01 2147
Elasticsearch---分析（analysis） ES 的倒排索引即是根据分词后的单词创建，意味着在搜索的时候，匹配分词后的单词才能命中该文档。 一、倒排序简介： 二、用到analysis的地方： 1.写时分词：发生在写入、更新文档时，由analysis经过分析由Tokens列表，将结果存入倒排索引。 2.读时分词：发生在用户查询时，输入的关键词进行分词，分词结果...
Elasticsearch---Analyzer（分析器）
相信自己有能力，那么你就真的会有！
09-14 559
一个人最大的破产是绝望，最大的资产是希望。
Elasticsearch - 指定分析器
热门推荐
WSYW126的博客
05-02 1万+
全文搜索引擎会用某种算法对要建索引的文档进行分析， 从文档中提取出若干Token(词元)， 这些算法称为Tokenizer(分词器)；这些Token会被进一步处理， 比如转成小写等，这些处理算法被称为Token Filter(词元处理器), 被处理后的结果被称为Term(词)， 文档中包含了几个这样的Term被称为Frequency(词频)。
Elasticsearch 查询分析器简介
BXA
07-15 2830
Elasticsearch 是一个开源的分布式搜索和分析引擎，它提供了强大的查询和分析功能。它基于 Apache Lucene 构建，支持大规模数据的实时搜索，并具有高可用性和可扩展性。代码示例// 在这里实现自定义的 tokenizer 逻辑 return new CustomTokenizer();// 实现自定义 tokenizer 的逻辑 @Override public Token next() throws IOException {// 返回下一个 token } }代码示例。
elasticsearch-ik分词器
qq_36779138的博客
12-24 1176
elasticsearch-ik分词器 这里用的分词器版本是elasticsearch-analysis-ik-7.16.1.zip，和elasticsearch是相同的版本，这样不容易出错。 每个节点的elasticsearch中都要安装elasticsearch-analysis-ik。 安装过程 1. linux安装zip解压器 yum -y install unzip 2. 在原来的elasticsearch安装目录中的plugins目录下创建一个名为ik的文件夹 mkdir -p /usr/lo
es-4-自定义分析器
xyh的博客
05-02 1020
分析器 可以直接定义在settings下analysis下的几个属性： Analyzer由Charactor Filter—>Tokenizer—>Token Filter三部分组成。 Normalizer：规整器，它没有分词器，只有字符过滤器和分词过滤器。例如对keyword类型做标准化处理。 Charactor Filter：字符过滤器，去掉文本原始的一些字符，例如html标签等。可以有多个 Tokenizer：分词器，将上一步处理完的全文数据根据一定的规则拆分成词项。 Token Fil
7.17.1系列Elasticsearch的elasticsearch-analysis-ik分词器
08-07
elasticsearch-analysis-ik 是一个常用的中文分词器，在 Elasticsearch 中广泛应用于中文文本的分析和搜索。下面是 elasticsearch-analysis-ik 分词器的几个主要特点： 中文分词：elasticsearch-analysis-ik 是基于...
elasticsearch-analysis-hanlp:用于Elasticsearch的HanLP分析器
05-23
elasticsearch-analysis-hanlpHanLP Analyzer for ElasticSearch此分词器基于，提供了HanLP中大部分的分词方式。今年一年都在忙其他事，所以插件更新基本一年没有更新，年底更新一波。今年学习了一下ES向量插件...
elasticsearch-analysis-vietnamese:用于Elasticsearch的越南语分析插件
05-13
用于Elasticsearch的越南语分析插件 越南语分析插件将越南语分析集成到Elasticsearch中。 它使用由CocCoc团队为其搜索引擎和广告系统开发的图书馆使用的。 该插件提供vi_analyzer分析器， vi_tokenizer标记器和vi_...
elasticsearch-7.17.6及对应版本IK分词
02-19
Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎。Logstash 和 Beats 有助于收集、聚合和丰富您的数据并将其存储在 Elasticsearch 中。Kibana 使您能够以交互方式探索、可视化和分享对数据的见解，...
elasticsearch-sudachi:用于elasticsearch的日语分析插件
05-31
分析-sudachi analysis-sudachi 是一个 Elasticsearch 插件，用于使用 Sudachi 日语形态分析器对日语文本进行标记化。什么是新的？ 版本 2.1.0 添加了一个新属性additional_settings直接在配置中写入 Sudachi 设置...
【PB案例学习笔记】-09滚动条使用
再小的帆也能远航，把分享变成一种习惯
05-27 437
这是PB案例学习笔记系列文章的第8篇，该系列文章适合具有一定PB基础的读者。通过一个个由浅入深的编程实战案例学习，提高编程技巧，以保证小伙伴们能应付公司的各种开发需求。文章中设计到的源码，小凡都上传到了gitee代码仓库需要源代码的小伙伴们可以自行下载查看，后续文章涉及到的案例代码也都会提交到这个仓库【如果对小伙伴有所帮助，希望能给一个小星星⭐支持一下小凡。
ElasticSearch(es)使用游标读取全部数据
最新发布
weixin_45947759的博客
05-31 178
【代码】ElasticSearch(es)使用游标读取全部数据。
让WSL内核使用BBR拥塞控制算法
Double Galaxy
05-27 112
使用git命令从Linux内核的Git仓库中获取源代码，$ git clone https://github.com/microsoft/WSL2-Linux-Kernel.git，找到对应的内核版本$ git log --grep="5.15.146.1-microsoft-standard-WSL2"，回退到本机安装的内核版本$ git checkout 在配置中搜索TCP_CONG_BBR，确保该选项被设置为y（表示编译进内核）或m（表示编译为模块）。需要事先安装好依赖的工具。
Linux 使用 yum安装 ELK服务，yum 安装elasticsearch和Kibana(未写完)
雪花凌落的盛夏
05-27 656
是一个近实时（NRT）的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。它是一个具有近实时（NRT）传输能力的数据收集、过滤、分析引擎，用来进行数据收集、解析、过滤，并最终将数据发送给ES。它是一个为 ElasticSearch 提供分析和展示的可视化 Web 平台。它可以在 ElasticSearch 的索引中查找，交互数据，并生成各种维度表格、图形以及仪表盘。
elasticsearch 分析器 过滤器
06-15
Elasticsearch 分析器（Analyzer）和过滤器（Filter）是两个不同的概念。 分析器是用于将文本分解为单独的词汇单元的过程，它会将输入文本进行分词、大小写转换、去除停用词、词根还原、同义词替换等一系列处理，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值