Analyzer

最新推荐文章于 2024-02-20 10:48:29 发布
最新推荐文章于 2024-02-20 10:48:29 发布
阅读量845 收藏
点赞数
分类专栏： es
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laimao8079/article/details/105069224
版权

analysis--文本分析是把全文本转化成一系列单词(term/tocken)的过程,也叫分词

analyzer --分词器是专门处理分词的组件,它有三部分组成

Character Filters(针对原始文本,比如去除html标签)

Tockenizer 按照规则切分为单词

Tocken Filter 将切分的单词进行加工,小写,删除stopwords(停用词)和增加同义词

es内置分词器

standard Analyzer 默认分词器,按词切分,小写处理

Stop Analyzer --小写处理,停用词过滤(the,a,is)

Simple analyzer 按照字母切分(符号被过滤掉),小写处理

whitespace Analyzer 按照空格切分,不转换小写

keyword Analyzer 不分词,直接将输入当做输出

Patter Analyzer --正则表达式,默认 \w+ (非字符串分隔)

Language --提供了30多种常见语言的分词器

三种常用的分词器API测试

1直接指定Analyze分词测试

GET _analyze
{
  "analyzer": "standard",
  "text": "Mastering English"
}

结果

{
  "tokens": [
    {
      "token": "mastering",
      "start_offset": 0,
      "end_offset": 9,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "english",
      "start_offset": 10,
      "end_offset": 17,
      "type": "<ALPHANUM>",
      "position": 1
    }
  ]
}

2指定索引的字段进行测试

POST /book/_Analyze

{

"field":"title",

"test":"Mastering English"

}

3自定义分词器测试

POST /_Analyze

{

"Tockenizer":"standard",

"filter":["Lowcase"],

"test":"Mastering English"

}

 

不同种类分词器演示

GET _analyze
{
  "analyzer": "standard",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

结果

{
  "tokens": [
    {
      "token": "2",
      "start_offset": 0,
      "end_offset": 1,
      "type": "<NUM>",
      "position": 0
    },
    {
      "token": "running",
      "start_offset": 2,
      "end_offset": 9,
      "type": "<ALPHANUM>",
      "position": 1
    },
    {
      "token": "quick",
      "start_offset": 10,
      "end_offset": 15,
      "type": "<ALPHANUM>",
      "position": 2
    },
    {
      "token": "brown",
      "start_offset": 16,
      "end_offset": 21,
      "type": "<ALPHANUM>",
      "position": 3
    },
    {
      "token": "foxes",
      "start_offset": 22,
      "end_offset": 27,
      "type": "<ALPHANUM>",
      "position": 4
    },
    {
      "token": "leap",
      "start_offset": 28,
      "end_offset": 32,
      "type": "<ALPHANUM>",
      "position": 5
    },
    {
      "token": "over",
      "start_offset": 33,
      "end_offset": 37,
      "type": "<ALPHANUM>",
      "position": 6
    },
    {
      "token": "lazy",
      "start_offset": 38,
      "end_offset": 42,
      "type": "<ALPHANUM>",
      "position": 7
    },
    {
      "token": "dogs",
      "start_offset": 43,
      "end_offset": 47,
      "type": "<ALPHANUM>",
      "position": 8
    },
    {
      "token": "in",
      "start_offset": 48,
      "end_offset": 50,
      "type": "<ALPHANUM>",
      "position": 9
    },
    {
      "token": "the",
      "start_offset": 51,
      "end_offset": 54,
      "type": "<ALPHANUM>",
      "position": 10
    },
    {
      "token": "summer",
      "start_offset": 55,
      "end_offset": 61,
      "type": "<ALPHANUM>",
      "position": 11
    },
    {
      "token": "evening",
      "start_offset": 62,
      "end_offset": 69,
      "type": "<ALPHANUM>",
      "position": 12
    }
  ]
}

 

GET _analyze
{
  "analyzer": "simple",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

{
  "tokens": [
    {
      "token": "running",
      "start_offset": 2,
      "end_offset": 9,
      "type": "word",
      "position": 0
    },
    {
      "token": "quick",
      "start_offset": 10,
      "end_offset": 15,
      "type": "word",
      "position": 1
    },
    {
      "token": "brown",
      "start_offset": 16,
      "end_offset": 21,
      "type": "word",
      "position": 2
    },
    {
      "token": "foxes",
      "start_offset": 22,
      "end_offset": 27,
      "type": "word",
      "position": 3
    },
    {
      "token": "leap",
      "start_offset": 28,
      "end_offset": 32,
      "type": "word",
      "position": 4
    },
    {
      "token": "over",
      "start_offset": 33,
      "end_offset": 37,
      "type": "word",
      "position": 5
    },
    {
      "token": "lazy",
      "start_offset": 38,
      "end_offset": 42,
      "type": "word",
      "position": 6
    },
    {
      "token": "dogs",
      "start_offset": 43,
      "end_offset": 47,
      "type": "word",
      "position": 7
    },
    {
      "token": "in",
      "start_offset": 48,
      "end_offset": 50,
      "type": "word",
      "position": 8
    },
    {
      "token": "the",
      "start_offset": 51,
      "end_offset": 54,
      "type": "word",
      "position": 9
    },
    {
      "token": "summer",
      "start_offset": 55,
      "end_offset": 61,
      "type": "word",
      "position": 10
    },
    {
      "token": "evening",
      "start_offset": 62,
      "end_offset": 69,
      "type": "word",
      "position": 11
    }
  ]
}

 

GET _analyze
{
  "analyzer": "stop",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

{
  "tokens": [
    {
      "token": "running",
      "start_offset": 2,
      "end_offset": 9,
      "type": "word",
      "position": 0
    },
    {
      "token": "quick",
      "start_offset": 10,
      "end_offset": 15,
      "type": "word",
      "position": 1
    },
    {
      "token": "brown",
      "start_offset": 16,
      "end_offset": 21,
      "type": "word",
      "position": 2
    },
    {
      "token": "foxes",
      "start_offset": 22,
      "end_offset": 27,
      "type": "word",
      "position": 3
    },
    {
      "token": "leap",
      "start_offset": 28,
      "end_offset": 32,
      "type": "word",
      "position": 4
    },
    {
      "token": "over",
      "start_offset": 33,
      "end_offset": 37,
      "type": "word",
      "position": 5
    },
    {
      "token": "lazy",
      "start_offset": 38,
      "end_offset": 42,
      "type": "word",
      "position": 6
    },
    {
      "token": "dogs",
      "start_offset": 43,
      "end_offset": 47,
      "type": "word",
      "position": 7
    },
    {
      "token": "summer",
      "start_offset": 55,
      "end_offset": 61,
      "type": "word",
      "position": 10
    },
    {
      "token": "evening",
      "start_offset": 62,
      "end_offset": 69,
      "type": "word",
      "position": 11
    }
  ]
}

 

#stop
GET _analyze
{
  "analyzer": "whitespace",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

 

{
  "tokens": [
    {
      "token": "2",
      "start_offset": 0,
      "end_offset": 1,
      "type": "word",
      "position": 0
    },
    {
      "token": "running",
      "start_offset": 2,
      "end_offset": 9,
      "type": "word",
      "position": 1
    },
    {
      "token": "Quick",
      "start_offset": 10,
      "end_offset": 15,
      "type": "word",
      "position": 2
    },
    {
      "token": "brown-foxes",
      "start_offset": 16,
      "end_offset": 27,
      "type": "word",
      "position": 3
    },
    {
      "token": "leap",
      "start_offset": 28,
      "end_offset": 32,
      "type": "word",
      "position": 4
    },
    {
      "token": "over",
      "start_offset": 33,
      "end_offset": 37,
      "type": "word",
      "position": 5
    },
    {
      "token": "lazy",
      "start_offset": 38,
      "end_offset": 42,
      "type": "word",
      "position": 6
    },
    {
      "token": "dogs",
      "start_offset": 43,
      "end_offset": 47,
      "type": "word",
      "position": 7
    },
    {
      "token": "in",
      "start_offset": 48,
      "end_offset": 50,
      "type": "word",
      "position": 8
    },
    {
      "token": "the",
      "start_offset": 51,
      "end_offset": 54,
      "type": "word",
      "position": 9
    },
    {
      "token": "summer",
      "start_offset": 55,
      "end_offset": 61,
      "type": "word",
      "position": 10
    },
    {
      "token": "evening.",
      "start_offset": 62,
      "end_offset": 70,
      "type": "word",
      "position": 11
    }
  ]
}

 

#keyword
GET _analyze
{
  "analyzer": "keyword",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

 

{
  "tokens": [
    {
      "token": "2 running Quick brown-foxes leap over lazy dogs in the summer evening.",
      "start_offset": 0,
      "end_offset": 70,
      "type": "word",
      "position": 0
    }
  ]
}

 

GET _analyze
{
  "analyzer": "pattern",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

 

{
  "tokens": [
    {
      "token": "2",
      "start_offset": 0,
      "end_offset": 1,
      "type": "word",
      "position": 0
    },
    {
      "token": "running",
      "start_offset": 2,
      "end_offset": 9,
      "type": "word",
      "position": 1
    },
    {
      "token": "quick",
      "start_offset": 10,
      "end_offset": 15,
      "type": "word",
      "position": 2
    },
    {
      "token": "brown",
      "start_offset": 16,
      "end_offset": 21,
      "type": "word",
      "position": 3
    },
    {
      "token": "foxes",
      "start_offset": 22,
      "end_offset": 27,
      "type": "word",
      "position": 4
    },
    {
      "token": "leap",
      "start_offset": 28,
      "end_offset": 32,
      "type": "word",
      "position": 5
    },
    {
      "token": "over",
      "start_offset": 33,
      "end_offset": 37,
      "type": "word",
      "position": 6
    },
    {
      "token": "lazy",
      "start_offset": 38,
      "end_offset": 42,
      "type": "word",
      "position": 7
    },
    {
      "token": "dogs",
      "start_offset": 43,
      "end_offset": 47,
      "type": "word",
      "position": 8
    },
    {
      "token": "in",
      "start_offset": 48,
      "end_offset": 50,
      "type": "word",
      "position": 9
    },
    {
      "token": "the",
      "start_offset": 51,
      "end_offset": 54,
      "type": "word",
      "position": 10
    },
    {
      "token": "summer",
      "start_offset": 55,
      "end_offset": 61,
      "type": "word",
      "position": 11
    },
    {
      "token": "evening",
      "start_offset": 62,
      "end_offset": 69,
      "type": "word",
      "position": 12
    }
  ]
}

 

#english
GET _analyze
{
  "analyzer": "english",
  "text": "2 running Quick brown-foxes leap over lazy dogs in the summer evening."
}

{
  "tokens": [
    {
      "token": "2",
      "start_offset": 0,
      "end_offset": 1,
      "type": "<NUM>",
      "position": 0
    },
    {
      "token": "run",
      "start_offset": 2,
      "end_offset": 9,
      "type": "<ALPHANUM>",
      "position": 1
    },
    {
      "token": "quick",
      "start_offset": 10,
      "end_offset": 15,
      "type": "<ALPHANUM>",
      "position": 2
    },
    {
      "token": "brown",
      "start_offset": 16,
      "end_offset": 21,
      "type": "<ALPHANUM>",
      "position": 3
    },
    {
      "token": "fox",
      "start_offset": 22,
      "end_offset": 27,
      "type": "<ALPHANUM>",
      "position": 4
    },
    {
      "token": "leap",
      "start_offset": 28,
      "end_offset": 32,
      "type": "<ALPHANUM>",
      "position": 5
    },
    {
      "token": "over",
      "start_offset": 33,
      "end_offset": 37,
      "type": "<ALPHANUM>",
      "position": 6
    },
    {
      "token": "lazi",
      "start_offset": 38,
      "end_offset": 42,
      "type": "<ALPHANUM>",
      "position": 7
    },
    {
      "token": "dog",
      "start_offset": 43,
      "end_offset": 47,
      "type": "<ALPHANUM>",
      "position": 8
    },
    {
      "token": "summer",
      "start_offset": 55,
      "end_offset": 61,
      "type": "<ALPHANUM>",
      "position": 11
    },
    {
      "token": "even",
      "start_offset": 62,
      "end_offset": 69,
      "type": "<ALPHANUM>",
      "position": 12
    }
  ]
}

 

POST _analyze
{
  "analyzer": "icu_analyzer",
  "text": "他说的确实在理”"
}
没有安装

POST _analyze
{
  "analyzer": "standard",
  "text": "他说的确实在理”"
}

{
  "tokens": [
    {
      "token": "他",
      "start_offset": 0,
      "end_offset": 1,
      "type": "<IDEOGRAPHIC>",
      "position": 0
    },
    {
      "token": "说",
      "start_offset": 1,
      "end_offset": 2,
      "type": "<IDEOGRAPHIC>",
      "position": 1
    },
    {
      "token": "的",
      "start_offset": 2,
      "end_offset": 3,
      "type": "<IDEOGRAPHIC>",
      "position": 2
    },
    {
      "token": "确",
      "start_offset": 3,
      "end_offset": 4,
      "type": "<IDEOGRAPHIC>",
      "position": 3
    },
    {
      "token": "实",
      "start_offset": 4,
      "end_offset": 5,
      "type": "<IDEOGRAPHIC>",
      "position": 4
    },
    {
      "token": "在",
      "start_offset": 5,
      "end_offset": 6,
      "type": "<IDEOGRAPHIC>",
      "position": 5
    },
    {
      "token": "理",
      "start_offset": 6,
      "end_offset": 7,
      "type": "<IDEOGRAPHIC>",
      "position": 6
    }
  ]
}

 

POST _analyze
{
  "analyzer": "icu_analyzer",
  "text": "这个苹果不大好吃"
}

Ik分词器

POST _analyze
{
  "analyzer": "ik_smart",
  "text": "中华人民共和国国歌"
}

POST _analyze
{
  "analyzer": "ik_max_word",
  "text": "中华人民共和国国歌"
}

ik_max_word: 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合，适合 Term Query；

ik_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”，适合 Phrase 查询

laimao8079
关注
专栏目录
Memory Analyzer
04-05
"Memory Analyzer"是一款专门针对Java应用程序的内存分析工具，它能够帮助开发者深入理解内存使用情况，定位内存泄漏问题，从而提高应用的性能和稳定性。在本文中，我们将详细探讨Memory Analyzer的功能、使用方法...
bert源码分析之tokenization
最新发布
LIjin_1006的博客
03-20 999
sub_tokens.append(cur_substr)# 能到这的,cur_substr肯定有值,就在sub_tokens里加进cur_substr。if is_bad: #如果是UNK(包括整个分词,没一部分在词汇里能找到和,即便有一些找到了,但有一个找不到,也是UNK)split_tokens.extend(self._run_split_on_punc(token))#追加列表形式的词汇。token = self._run_strip_accents(token)# 过滤掉重音符的词汇。
NLP——Tokenizer
行者无疆的博客
11-20 7697
1.什么是Tokenizer   使用文本的第一步就是将其拆分为单词。单词称为标记（token），将文本拆分为标记的过程称为标记化(tokenization)，而标记化用到的模型或工具称为tokenizer。Keras提供了Tokenizer类，用于为深度学习文本文档的预处理。 2.创建Tokenizer实例 from keras.preprocessing.text import Tokenizer tok = Tokenizer() 3.学习文本字典 ##假设文本数据为： docs = ['good
ES使用——分词器
jionli的博客
04-29 5920
文章目录前言一、analyzer介绍二、analyzer使用1.分词查看whitespace2.分词查看simple3.分词查看standard4.分词查看ik_max_word5.分词查看ik_smart三、注意事项总结 前言 提示：ES 宗旨 专注于搜索，ES也有内置的分词器，但是对于中文分词我们还是比较喜欢使用ik分词器，该文章主要讲述下关于分词器的使用 一、analyzer介绍 analyzer是mapping映射时候使用的，主要是text的属性，text在不设置analyzer的时候，默认使
Lucene分词实现---Analyzer、TokenStream（Token、Tokenizer、Tokenfilter）
单向街的夏天
04-16 2247
一  分清概念：    1   TokenStream是用来走访Token的iterator(迭代器) ,               Tokenizer继承自TokenStream，其输入为Reader 。              TokenFilter继承自TokenStream,其作用是用来完成对TokenStream的过滤操作，譬如 去StopWords，将Token变为小
java语法基础
ilgfcyll的博客
03-10 5924
Java程序一般有两种。一种是application，他是运行在Java虚拟机上的程序，另一种是applet运行于支持Java语言的浏览器中。对于application个程序来说，每个项目有且只能有主类（与文件名相同），且在这个主类中有且只有能有一个主方法main方法。这就类似于C/C++的main函数所在的文件，由main函数来调用其他函数。Java中是在主方法中调用其它类。在Javac编译之后...
WinPLC-Analyzer
08-05
WinPLC-Analyzer兼容所有的西门子Simatic S7(S7-300/400/1200/1500) and S5 (90U, 95U,...155U) series 的PLC,及所有信号类型(输入、输出、标志、数据、定时器、计数器)都可以被记录和评估。 您可以将自定义触发器...
MemoryAnalyzer
12-04
《深入解析MemoryAnalyzer：Java堆栈分析利器》 在Java应用程序开发中，内存管理是至关重要的环节，不当的内存使用可能导致系统性能下降，甚至引发内存泄漏等问题。为了解决这些问题，IBM开发了一款名为Memory...
IKAnalyzer
04-18
**IKAnalyzer 知识点详解** IK Analyzer 是一个在 IT 领域广泛应用的开源项目，专注于中文分词处理。它的全称为 "Intelligent Chinese Analyzer"，由 Java 语言编写，设计目标是提供一个轻量级、高效且易于扩展的...
HttpAnalyzer绿色破解版
04-21
HttpAnalyzer绿色破解版，用来查看HTTP协议，在该工具中将本机发送的HTTP进行了解析并有条目的输出，非常适合从事web工作的开发人员。本人就用它来在开发Java web的时候查看HTTP协议。很有用的工具。
HTTP_Analyzer v7.5.1
07-30
http抓包工具 win8.1可用 包含注册机 仅用于学习
HTTP analyzer
10-21
HTTP Analyzer这是一款IE集成插件。它可以实时捕捉HTTP/HTTPS 协议数据，可以显示许多信息（包括：文件头、内容、Cookie、查询字符窜、提交的数据、重定向的URL地址），可以提供缓冲区信息、清理对话内容、HTTP状态信息和其他过滤选项。同时还是一个非常有用的分析、调试和诊断的开发工具。 HttpAnalyzerFullV3.exe keygen.exe
Analyzer安装教程
12-06
analyzer详细安装教程，配详细步骤截图，over。。。。。
ElasticSearch7学习笔记之用Analyzer分词
四国棋客
12-13 1503
定义 Analyzer是es中专门用来处理分词的组件，由三部分组成： Character Filters：针对原始文本的处理，例如去除html等 Tokenizer：按照规则进行分词 Token Filter：将切分的单词进行加工，例如去除修饰性单词等 分词器种类 StandardAnalyzer 这是默认分词器，按词切分，将字母转换为小写，默认关闭终止词。 使用方法如下： GET /_analyze { "analyzer": "standard", "text": "It`s a good
文本分析器Analyzer原理及常用Analyzer的功能
shendeguang的专栏
11-26 2470
Analyzer，或者说文本分析的过程，实质上是将输入文本转化为文本特征向量的过程。这里所说的文本特征，可以是词或者是短语。它主要包括以下四个步骤： 分词，将文本解析为单词或短语归一化，将文本转化为小写停用词处理，去除一些常用的、无意义的词提取词干，解决单复数、时态语态等问题 Lucene Analyzer包含两个核心组件，Tokenizer以及TokenFilter。两者的区别在于，
ElasticSearch入门 第七篇：分词
albh81462的博客
05-08 509
这是ElasticSearch 2.4 版本系列的第七篇： ElasticSearch入门 第一篇：Windows下安装ElasticSearch ElasticSearch入门 第二篇：集群配置 ElasticSearch入门 第三篇：索引 ElasticSearch入门 第四篇：使用C#添加和更新文档 ElasticSearch入门 第五篇：使用C#查询文档 Elas...
什么是Analyzer，它用于什么
越努力越幸运。
02-20 423
在查询过程中，Analyzer可以用于对用户的查询语句进行解析和预处理，以便于更好地匹配索引中的文本特征，提高查询效率和准确性。例如，对于中文文本数据，可以编写一个中文分词的Analyzer，将中文文本分解为一个个的词语，并转化为相应的文本特征。Analyzer是ElasticSearch中的一个组件，用于将输入的文本转化为索引时使用的文本特征向量。总之，Analyzer是ElasticSearch中一个重要的组件，用于将输入的文本转化为索引时使用的文本特征向量，用于处理文本数据的索引和查询操作。
PostgreSQL数据库统计信息——analyze流程对不同表的处理
肥叔菌的博客
09-04 1163
使用手册提供的例子说明问题：假定我们正在为一个大型的冰激凌公司构建数据库。该公司每天测量最高温度以及每个区域的冰激凌销售情况。概念上，我们想要一个这样的表。 我们知道大部分查询只会访问上周的、上月的或者上季度的数据，因为这个表的主要用途是为管理层准备在线报告。为了减少需要被存放的旧数据量，我们决定只保留最近3年的数据。在每个月的开始我们将去除掉最早的那个月的数据。在这种情况下我们可以使用分区技术来帮助我们满足对measurement表的所有不同需求。要在这种情况下使用声明式分区，可采用下面的步骤： 通过指定
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值