【Elasticsearch】不常用 length filer、ngram filter、trim filter、truncate filter、unique filter、synonym token

最新推荐文章于 2024-04-24 14:42:00 发布
最新推荐文章于 2024-04-24 14:42:00 发布
阅读量523 收藏 1
点赞数
分类专栏： 大数据-Elasticsearch
原文链接：https://segmentfault.com/a/1190000025173825
版权
大数据-Elasticsearch 专栏收录该内容
559 篇文章 547 订阅 ¥79.90 ¥99.00
订阅专栏

在这里插入图片描述

1.概述

转载：总结一些ES不常用的filter

ES内置的token filter很多，大部分实际工作中都用不到。这段时间准备ES认证工程师的考试，备考的时候需要熟悉这些不常用的filter。ES官方对一些filter只是一笔带过，我就想着把备考的笔记整理成博客备忘，也希望能帮助到有这方面需求的人。

2.length filer

官方解释：

A token filter of type length that removes words that are too long or too short for the stream.

这个filter的功能是，去掉过长或者过短的单词。它有两个参数可以设置：

  • min 定义最短长度，默认是0
  • max 定义最长长度，默认是Integer.MAX_VALUE

先来简单测试下它的效果，

GET _analyze
{
  "tokenizer" : "standard",
  "filter": [{"type": "length", "min":1, "max":3 }],  
  "text" : "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone"
}

输出：

{
  "tokens" : [
    {
      "token" : "The",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "2",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "<NUM>",
      "position" : 1
    },
    {
      "token" : "the",
      "start_offset" : 36,
      "end_offset" : 39,
      "type" : "<ALPHANUM>",
      "position" : 7
    }
  ]
}

可以看到大于3的单词都被过滤掉了。

如果要给某个索引指定length filer，可以参考下面这个示例：

PUT /length_example
{
    "settings" : {
        "analysis" : {
            "analyzer" : {
                "default" : {
                    "tokenizer" : "standard",
                    "filter" : ["my_length"]
                }
            },
            "filter" : {
                "my_length" : {
                    "type" : "length",
                    "min" : 1,
                    "max": 3
                }
            }
        }
    }
}

GET length_example/_analyze
{
  "analyzer": "default", 
  "text" : "The 2 QUICK Brown-Foxes jumped over the lazy dog's bonet"
}

3.ngram filter

ngram filter的意义可以参考ngram tokenize，后者相当于是keyword tokenizer 加上 ngram filter，效果是一样的。

它的含义是：首先将text文本切分，执行时采用N-gram切割算法。N-grams 算法，像一个穿越单词的滑窗，是一个特定长度的持续的字符序列。

说着挺抽象，来个例子：

GET _analyze
{
  "tokenizer": "ngram",
  "text": "北京大学"
}

GET _analyze
{
  "tokenizer" : "keyword",
  "filter": [{"type": "ngram", "min_gram":1, "max_gram":2 }],  
  "text" : "北京大学"
}

可以看到有两个属性，

  • min_gram 在单词中最小字符长度，且默认为1
  • max_gram 在单词中最大字符长度，且默认为2

max和min的间隔，也就是步长默认最大只能是1，可以通过设置索引的max_ngram_diff修改，示例如下：

PUT /ngram_example
{
    "settings" : {
      "index": {
      "max_ngram_diff": 10
    },
        "analysis" : {
            "analyzer" : {
                "default" : {
                    "tokenizer" : "keyword",
                    "filter" : ["my_ngram"]
                }
            },
            "filter" : {
                "my_ngram" : {
                    "type" : "ngram",
                    "min_gram" : 2,
                    "max_gram": 4
                }
            }
        }
    }
}

使用索引的analyzer测试，

GET ngram_example/_analyze
{
  "analyzer": "default", 
  "text" : "北京大学"
}

输出，

{
  "tokens" : [
    {
      "token" : "北京",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "北京大",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "北京大学",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "京大",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "京大学",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "大学",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "word",
      "position" : 0
    }
  ]
}

你应该已经基本了解ngram filter的用法了，可能会有个疑问，这个过滤器用在什么场景呢？事实上，它适合前缀中缀检索，比如搜索推荐功能，当你只输入了某个句子的一部分时，搜索引擎会显示出以这部分为前缀的一些匹配项，从而实现推荐功能。

在7.9 推出的模糊匹配中，也是使用了这个东东

4.trim filter

这个filter从名字也可以看出它的功能，它可以删除前后空格。看个示例：

GET _analyze
{
  "tokenizer" : "keyword",
  "filter": [{"type": "trim"}],  
  "text" : " 北京大学"
}

输出，

{
  "tokens" : [
    {
      "token" : "北京大学",
      "start_offset" : 0,
      "end_offset" : 5,
      "type" : "word",
      "position" : 0
    }
  ]
}

5.truncate filter

这个filter有一个length属性，可以截断分词后的term，确保term的长度不会超过length。下面看个示例，

GET _analyze
{
  "tokenizer" : "keyword",
  "filter": [{"type": "truncate", "length": 3}],  
  "text" : "北京大学"
}

输出，

{
  "tokens" : [
    {
      "token" : "北京大",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "word",
      "position" : 0
    }
  ]
}

再来一个示例：

GET _analyze
{
  "tokenizer" : "standard",
  "filter": [{"type": "truncate", "length": 3}],  
  "text" : "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

输出，

{
  "tokens" : [
    {
      "token" : "The",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "2",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "<NUM>",
      "position" : 1
    },
    {
      "token" : "QUI",
      "start_offset" : 6,
      "end_offset" : 11,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    ...

这个filter在keyword比较长的场景下，可以用来避免出现一些OOM等问题。

6.unique filter

unique词元过滤器的作用就是保证同样结果的词元只出现一次。看个示例：

GET _analyze
{
    "tokenizer": "standard",
    "filter": ["unique"],
    "text": "this is a test test test"
}

输出，

{
  "tokens" : [
    {
      "token" : "this",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "is",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "a",
      "start_offset" : 8,
      "end_offset" : 9,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    {
      "token" : "test",
      "start_offset" : 10,
      "end_offset" : 14,
      "type" : "<ALPHANUM>",
      "position" : 3
    }
  ]
}

7.synonym token filter

同义词过滤器。它的使用场景是这样的，比如有一个文档里面包含番茄这个词，我们希望搜索番茄或者西红柿，圣女果都可以找到这个文档。示例如下：

PUT /synonym_example
{
    "settings": {
            "analysis" : {
                "analyzer" : {
                    "synonym" : {
                        "tokenizer" : "whitespace",
                        "filter" : ["my_synonym"]
                    }
                },
                "filter" : {
                    "my_synonym" : {
                        "type" : "synonym",
                        "synonyms_path" : "analysis/synonym.txt"
                    }
                }
            }
    }
}

我们需要在ES实例的config目录下，新建一个analysis/synonym.txt的文件，内容如下：

番茄,西红柿,圣女果

记得要重启。

然后测试下，

GET /synonym_example/_analyze
{
  "analyzer": "synonym",
  "text": "番茄"
}

输出，

{
  "tokens" : [
    {
      "token" : "番茄",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "西红柿",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "SYNONYM",
      "position" : 0
    },
    {
      "token" : "圣女果",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "SYNONYM",
      "position" : 0
    }
  ]
}

如何组合使用多个filter
我们知道一个分析器可以包含多个过滤器，那怎么来实现呢？看下面这个例子：

GET _analyze
{
  "tokenizer" : "standard",
  "filter": [{"type": "length", "min":1, "max":4 },{"type": "truncate", "length": 3}],  
  "text" : "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

这个例子中，我们把length filter和truncate filter组合在一起使用，它首先基于标准分词，分词后的term大于4字节的会首先被过滤掉，接着剩下的term会被截断到3个字节。输出结果是，

{
  "tokens" : [
    {
      "token" : "The",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "2",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "<NUM>",
      "position" : 1
    },
    {
      "token" : "ove",
      "start_offset" : 31,
      "end_offset" : 35,
      "type" : "<ALPHANUM>",
      "position" : 6
    },
    {
      "token" : "the",
      "start_offset" : 36,
      "end_offset" : 39,
      "type" : "<ALPHANUM>",
      "position" : 7
    },
    {
      "token" : "laz",
      "start_offset" : 40,
      "end_offset" : 44,
      "type" : "<ALPHANUM>",
      "position" : 8
    },
    {
      "token" : "bon",
      "start_offset" : 51,
      "end_offset" : 55,
      "type" : "<ALPHANUM>",
      "position" : 10
    }
  ]
}

如果是在索引中使用的话，参考下面这个例子:

PUT /length_truncate_example
{
    "settings" : {
        "analysis" : {
            "analyzer" : {
                "default" : {
                    "tokenizer" : "standard",
                    "filter" : ["my_length", "my_truncate"]
                }
            },
            "filter" : {
                "my_length" : {
                    "type" : "length",
                    "min" : 1,
                    "max": 4
                },
                "my_truncate" : {
                    "type" : "truncate",
                    "length": 3
                }
            }
        }
    }
}

GET length_truncate_example/_analyze
{
  "analyzer": "default", 
  "text" : "The 2 QUICK Brown-Foxes jumped over the lazy dog's bonet"
}
九师兄
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
es根据字段长度过滤_elasticsearch通过作为数组的字段的大小过滤
weixin_39974557的博客
12-21 2372
elasticsearch通过作为数组的字段的大小过滤如何过滤具有一个数组的字段并且包含N个以上元素的文档？如何过滤具有为空数组的字段的文档？是解决方案吗？ 如果是这样，怎么办？eran asked 2020-06-23T22:10:24Z8个解决方案53 votes我将看一下脚本过滤器。 以下过滤器应仅返回params字段(包含数组)中至少包含10个元素的文档。 请记住，这可能很昂贵，具体取决于...
Elasticsearch：根据某一字段的长度过滤
weixin_43475783的博客
06-07 543
查询需求：①必须存在“high_value_word_list”字段；②字段“high_value_word_list”必须不能为空；③过滤“high_value_word_list” 字段列表中的值长度小于2个字段长度的。注：如果“high_value_word_list”是text类型，查询时需使用“high_value_word_list.keyword”类型。
java 反序列化 php数据
luck_h的博客
01-26 604
org.sction phprpc 3.0.2 /** * 对象: StringInt */public static StringInt object(String content){ PHPSerializer p = new PHPSerializer(); StringInt t = null; try { t = (StringInt)
Elasticsearch N-gram分词器介绍 (7)
最新发布
weixin_43394129的博客
04-24 375
一.概述 　　Ngram是一种基于统计语言模型的算法。Ngram基本思想是将文本里面的内容按照字节大小进行滑动窗口操作，形成长度是N的字节片段序列。此时每一个字节片段称为gram。对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间。列表中的每一种gram就是一个特征向量维度。 　　应用场景： 　　　　1)要分词的文本是：没有空格...
ES索引操作
weixin_43793061的博客
06-04 1077
1、建es索引 #这里指定了分词器为ngram_filter PUT db_content_testserver2 { "settings": { "number_of_shards": "3", "index": { "max_ngram_diff": 10 }, "analysis": { "analyzer": {
elasticsearch ngram和edgengram分词器
爱死亡机器人
03-29 1220
文章目录1. Analysis 简介2. index analyzer VS search analyzer3. Analyze API4. Ngram5. Ngram Tokenizer6. Ngram Token Filter7. Edge Ngram 1. Analysis 简介 理解elasticsearch的ngram首先需要了解elasticsearch中的analysis。在此我们快速回顾一下基本原理： 当一个文档被索引时，每个field都可能会创建一个倒排索引（如果mapping的时候没有
关于pdf文件xss攻击问题，配置xssFilter方法
12-21
通过在SpringBoot应用中配置XSSFilter并结合其他安全措施，可以有效防止此类攻击，保护用户的浏览器环境不受侵害。同时，定期更新安全知识，对新的攻击手段保持警惕，是保障Web应用程序安全的重要环节。
sensy-words-filter:用于过滤出敏感词列表的软件包
05-02
// ES2015 modules import { sensyWords } from 'sensy-words-filter' 用星号替换黑名单中的单词 const words = sensyWords ( 'sensy-words, a package for filtering out a list of sensitive words' , [ '...
logstash_filter_f5:适用于F5 APD，DCC，SSHD和TMM系统日志的Logstash过滤器
05-01
将F5日志发送到Elastic Stack，并应用过滤器以启用高级分析。 地位 在生产中。 如何 请检查以获取有关如何使用此插件的更多信息。 帮助 如果您发现错误或有功能请求，请在GitHub上发布问题。 版权 该程序是免费软件...
5个数组Array方法: indexOf、filter、forEach、map、reduce使用实例
09-03
这里我们将详细探讨其中五个常用且实用的方法：`indexOf`、`filter`、`forEach`、`map` 和 `reduce`。 1) `indexOf` `indexOf()` 方法用于查找指定元素在数组中的索引，如果找到则返回该元素的第一个出现位置，否则...
elasticsearch-filter-append
04-27
Elasticsearch过滤器追加 将其他过滤器追加到过滤器，查询和过滤的查询。 为什么？ 该库主要是出于安全原因而存在。 假设您正在接受用户生成的过滤器，但想对输入进行安全调整。 用户可以提交一个任意的过滤器，以...
(二)ElasticSearch实战基础教程(ElasticSearch入门)
张三博客
01-23 1984
1.ElasticSearch基础概念 1.1 文档(Doucument) 1.ElasticSearch是面向文档的，文档是所有可搜索数据的最小单位 ·日志文件中的日志项 ·一本电影的具体信息/一张唱片的详细信息 ·MP3播放器里面的一首歌/一遍PDF文档中的具体内容 2.文档是会被序列化成JSON格式，报错在ElasticSearch中 ·JSON对象由字段组成 ·每个字段都有对应的字段类型(字符串/数值/布尔/日期/二进制/范围类型) 3.每个文档都有一个Unique ID ·你可以自己指
一. ElasticSearch介绍和基本概念
03-08 424
1.Elasticsearch的概述 Elasticsearch（ES）是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎。Elasticsearch还是一个分布式文档数据库，其中每个字段均可被索引，而且每个字段的数据均可被搜索，ES能够横向扩展至数以百计的服务器存储以及处理PB级的数据。可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。 ElasticSearch就是为高可用和可扩展而生的。可以通过购置性能更强的服务器或者升级硬件来完成系
Elasticsearch节点，集群，分片及副本
SocaintC的博客
09-17 983
文章目录分布式系统的可用性与扩展性分布式特性节点Master-eligible nodes和Master NodeData Node & Coordinate Node其他的节点类型配置节点类型分片（Primary Shard & Replica Shard)分片的设定查看集群的健康状况安装cerebro操作示例相关阅读 elasticsearch其实就是一个分布式系统，需要满足分...
elasticsearch 条件去重_Elasticsearch学习之查询去重
weixin_35953401的博客
12-23 402
1. 实现查询去重、分页，例如：实现依据qid去重，createTime排序，命令行为：GET /nb_luban_answer/_search{"query": {"match": {"status": 1}},"sort": [{"createTime": {"order": "desc"}}],"aggs": {"qid": {"terms": {"field": "qid","size"...
总结一些ES不常用的filter
lucasma的博客
09-29 918
写在前面 ES内置的token filter很多，大部分实际工作中都用不到。这段时间准备ES认证工程师的考试，备考的时候需要熟悉这些不常用的filter。ES官方对一些filter只是一笔带过，我就想着把备考的笔记整理成博客备忘，也希望能帮助到有这方面需求的人。 length filer 官方解释： A token filter of type length that removes words that are too long or too short for the stream. 这个filte
elasticsearch7环境下清理索引数据方法
reblue520的专栏
08-20 2704
数据库磁盘空间不够，需要对索引进行清理，如果是mysql直接truncate tablename 就行了看了一下网上的主流做法，一种是删除索引重建索引，其次是删除数据一、直接删除所有数据(类似mysql的delete方法，基本是删不动，放弃)POST quality_control/my_type/_delete_by_query?refresh&slices=5&pre...
elasticSearch：使用Kibana对数据进行增删改查
热门推荐
黄黄黄黄黄的博客
06-07 1万+
由于之前已经分享过elasticSearch的java实现主要方法（如下链接），该文章主要分享使用Kibana对数据的操作。不用通过跑代码的方式，使得某些简单操作更快捷。elasticSearch的java实现主要方法https://blog.csdn.net/weixin_42311968/article/details/123856299在开始之前，首先给出我的数据结构mapping，为了简单起见，构建了一个索引名为student1，且typ..............................
ElasticSearch之ngram分词器
茅十八
11-03 8500
一、什么是NGram 分词器？ edge_ngram和ngram是ElasticSearch自带的两个分词器，一般设置索引映射的时候都会用到，设置完步长之后，就可以直接给解析器analyzer的tokenizer赋值使用。
java+es+nested_Elasticsearch nested sort filter 嵌套排序问题及解决
05-31
对于Java和Elasticsearch结合使用中的嵌套排序问题，可以通过使用Nested字段类型和Nested Query来解决。Nested字段类型可以将文档中的多个字段组合成一个单独的嵌套文档，以便于对这些字段进行嵌套排序。Nested ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值