ElasticSearch文本分析(三)

最新推荐文章于 2021-11-06 18:43:36 发布
最新推荐文章于 2021-11-06 18:43:36 发布
阅读量336 收藏
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Suubyy/article/details/118383524
版权

文章目录

ElasticSearch文本分析(三)

分词过滤器

分词过滤器接收来自分词器的数据流，他可以更新分词（更新为小写）、删除分词（移除通用词）和添加分词（同义词）

撇号（'）分词过滤器

去除撇号后的所有字符，包括撇号本身。

这个过滤器包含在Elasticsearch的内置土耳其语言分析器中。它使用Lucene的撇号过滤器，这是为土耳其语而建的。

示例

以下分析 API 请求演示了撇号分词过滤器的工作原理：

curl -X GET "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer" : "standard",
  "filter" : ["apostrophe"],
  "text" : "Istanbul\u0027a veya Istanbul\u0027dan"
}
'

过滤器产生以下分词：

[ Istanbul, veya, Istanbul ]
添加到分析上

根据以下创建所有的API请求使用撇号分词过滤器来配置一个自定义的分析器：

curl -X PUT "localhost:9200/apostrophe_example?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "standard_apostrophe": {
          "tokenizer": "standard",
          "filter": [ "apostrophe" ]
        }
      }
    }
  }
}
'

经典分词过滤器

对经典分词器生成的术语执行可选的后处理。这个过滤器从单词的末尾删除英语's，并从首字母缩写中删除.。它使用Lucene的ClassicFilter。

示例
curl -X GET "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer" : "classic",
  "filter" : ["classic"],
  "text" : "The 2 Q.U.I.C.K. Brown-Foxes jumped over the lazy dog\u0027s bone."
}
'

过滤器产生以下分词：

[ The, 2, QUICK, Brown, Foxes, jumped, over, the, lazy, dog, bone ]
添加到分析器上
curl -X PUT "localhost:9200/classic_example?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "classic_analyzer": {
          "tokenizer": "classic",
          "filter": [ "classic" ]
        }
      }
    }
  }
}
'

条件分词过滤器

示例

以下分析 API 请求使用条件过滤器匹配 THE QUICK BROWN FOX 中少于 5 个字符的分词。然后将小写过滤器应用于那些匹配到的分词，将它们转换为小写。

curl -X GET "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "standard",
  "filter": [
    {
      "type": "condition",
      "filter": [ "lowercase" ],
      "script": {
        "source": "token.getTerm().length() < 5"
      }
    }
  ],
  "text": "THE QUICK BROWN FOX"
}
'

过滤器产生以下标记：

[ the, QUICK, BROWN, fox ]
配置参数
  • filter：（必须的，分词过滤器数组）。分词过滤器数组。如果分词与脚本中条件相匹配，则按顺序应用于该分词。这些过滤器可以包括在索引映射中定义的自定义分词过滤器。
  • script：（必须，脚本对象）。应用于分词过滤器的脚本中。如果分词与脚本中的条件匹配则应用到该分词上。
自定义和增加到分析器上
curl -X PUT "localhost:9200/palindrome_list?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "whitespace_reverse_first_token": {
          "tokenizer": "whitespace",
          "filter": [ "reverse_first_token" ]
        }
      },
      "filter": {
        "reverse_first_token": {
          "type": "condition",
          "filter": [ "reverse" ],
          "script": {
            "source": "token.getPosition() === 0"
          }
        }
      }
    }
  }
}
'

Delimited payload 分词过滤器

根据指定的分隔符将标记流分隔为分词和有效负载。

例如你可以使用带有|分隔符的delimited_payload过滤器将the|1 quick|2 fox|3分词为the,quick,fox，其各自的有效负载为1,2,3。

示例

下面的分析API请求使用带有默认|分隔符的delimited_payload过滤器将the|0 brown|10 fox|5 is|0 quick|10分割为分词和有效负载。

curl -X GET "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "whitespace",
  "filter": ["delimited_payload"],
  "text": "the|0 brown|10 fox|5 is|0 quick|10"
}
'

这个过滤器产出的分词为：

[ the, brown, fox, is, quick ]

提示：这个API不会返回存储的有效负载。包含返回有效负载的例子请查看Return stored payloads

添加到分析器上

下面的创建索引API请求使用delimited_payload过滤器来配置新的自定义分析器。

curl -X PUT "localhost:9200/delimited_payload?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "whitespace_delimited_payload": {
          "tokenizer": "whitespace",
          "filter": [ "delimited_payload" ]
        }
      }
    }
  }
}
'
配置
  • delimited：（可选的，字符串）用于分隔分词和有效负载的分隔符。默认为|
  • encoding：（可选的，字符串）存储有效负载的数据类型。有效值为：
    • float：默认。float
    • identity：字符
    • int：integer
自定义和添加分析器上

创建自定义的delimited_payload过滤器，复制它作为创建分词过滤器的基础。你可以使用参数来更新这个过滤器。

例如根据以下创建索引的请求来创建一个自定义的delimited_payload分析器。这个自定义的delimited_payload将使用+分隔符来分隔分词和有效负载。有效负载编码为integer。

curl -X PUT "localhost:9200/delimited_payload_example?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "whitespace_plus_delimited": {
          "tokenizer": "whitespace",
          "filter": [ "plus_delimited" ]
        }
      },
      "filter": {
        "plus_delimited": {
          "type": "delimited_payload",
          "delimiter": "+",
          "encoding": "int"
        }
      }
    }
  }
}
'
返回存储的有效负载
curl -X GET "localhost:9200/text_payloads/_termvectors/1?pretty" -H 'Content-Type: application/json' -d'
{
  "fields": [ "text" ],
  "payloads": true
}
'

edge n-gram分词过滤器

从分词的开始形成一个指定长度的n-gram。例如你可以使用edge_ngram分词过滤器将quick变为qu。

当不需要自定义的时候，这个过滤器默认创建一个字符的n-gram。

实例

根据以下请求API使用edge_ngram分词过滤器转换quick brown fox jumps为一个字符到两个字符的n-gram。

curl -X GET "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "standard",
  "filter": [
    { "type": "edge_ngram",
      "min_gram": 1,
      "max_gram": 2
    }
  ],
  "text": "the quick brown fox jumps"
}
'

这个过滤器产生的结果为：

[ t, th, q, qu, b, br, f, fo, j, ju ]
添加到分析器
curl -X PUT "localhost:9200/edge_ngram_example?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "standard_edge_ngram": {
          "tokenizer": "standard",
          "filter": [ "edge_ngram" ]
        }
      }
    }
  }
}
'
自定义

要定制edge_ngram过滤器，复制它来创建一个新的自定义分词过滤器的基础。您可以使用过滤器的可配置参数来修改它。

curl -X PUT "localhost:9200/edge_ngram_custom_example?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "default": {
          "tokenizer": "whitespace",
          "filter": [ "3_5_edgegrams" ]
        }
      },
      "filter": {
        "3_5_edgegrams": {
          "type": "edge_ngram",
          "min_gram": 3,
          "max_gram": 5
        }
      }
    }
  }
}
'

Elision分词过滤器

从分词的开头删除指定的省略符。例如，您可以使用此过滤器将l'avion更改为avion。

如果没有自定义，该过滤器默认删除以下法语省略:

l', m', t', qu', n', s', j', d', c', jusqu', quoiqu', lorsqu', puisqu'

这个过滤器的自定义版本包含在几个Elasticsearch的内置语言分析器中:

  • Catalan analyzer
  • French analyzer
  • Irish analyzer
  • Italian analyzer
示例

下面的分析API请求使用省略过滤器从j' examine près du wharf中删除j’:

curl -X GET "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer" : "standard",
  "filter" : ["elision"],
  "text" : "j’examine près du wharf"
}
'

过滤器生成出的分词为：

[ examine, près, du, wharf ]
添加到分析器

下面的创建索引API请求使用省略过滤器来配置新的自定义分析器。

curl -X PUT "localhost:9200/elision_example?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "whitespace_elision": {
          "tokenizer": "whitespace",
          "filter": [ "elision" ]
        }
      }
    }
  }
}
'
配置参数

  • articles：（必须，字符串列表）。删除elision的列表。要删除省略符，省略符必须位于标记的开头，并立即跟在撇号之后。省略符和撇号都被删除了。对于自定义省略筛选器，必须指定此参数或articles_path。

  • articles_path：（必须，字符串）。包含要删除的省略列表的文件路径。该路径必须是绝对的或相对于配置位置的，并且文件必须是UTF-8编码的。文件中的每个省略符必须用换行符分隔。

    要删除省略符，省略符必须位于标记的开头，并立即跟在撇号之后。省略和撇号都被删除了。

    对于自定义省略筛选器，必须指定此参数或项目。

  • articles_case：(可选，Boolean)如果为真，省略匹配不区分大小写。如果为false，省略匹配是区分大小写的。默认值为false。

自定义

若要自定义省略过滤器，请复制它以创建新的自定义令分词过滤器的基础。您可以使用过滤器的可配置参数来修改它。

例如，下面的请求创建了一个自定义不区分大小写的省略符过滤器，用于删除l'， m'， t'， qu'， n'， s'和j'省略符

curl -X PUT "localhost:9200/elision_case_insensitive_example?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "default": {
          "tokenizer": "whitespace",
          "filter": [ "elision_case_insensitive" ]
        }
      },
      "filter": {
        "elision_case_insensitive": {
          "type": "elision",
          "articles": [ "l", "m", "t", "qu", "n", "s", "j" ],
          "articles_case": true
        }
      }
    }
  }
}
'

指纹分词过滤器

从分词流中对分词进行排序和删除重复的分词，然后将输出的分词流连接成一个分词。

例如，这个过滤器将[the, fox, was, very, very, quick]分词流更改如下:

  • 将分词按字母顺序排序为[ fox, quick, the, very, very, was ]
  • 移除多个重复的分词very
  • 连接分词流并输出一个单独的分词：[fox quick the very was ]

如OpenRefine项目中所述，这个过滤器产生的输出分词对于识别和聚集文本体非常有用。

示例

下面的分析API请求使用fingerprint过滤器通过zebra jumps over resting resting dog文本来创建一个单独的分词。

curl -X GET "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer" : "whitespace",
  "filter" : ["fingerprint"],
  "text" : "zebra jumps over resting resting dog"
}
'

这个过滤器查出的分词为：

[ dog jumps over resting zebra ]
添加到分析器中

下面的创建索引API请求使用指纹过滤器来配置新的自定义分析器。

curl -X PUT "localhost:9200/fingerprint_example?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "whitespace_fingerprint": {
          "tokenizer": "whitespace",
          "filter": [ "fingerprint" ]
        }
      }
    }
  }
}
'
配置参数
  • max_output_size：（可选的，整数），输出标记的最大字符长度，包括空格。默认为255。连接长度超过此长度的令牌将不会产生任何令牌输出。
  • separator：（可选的，字符串）用于连接标记流输入的字符。默认为空格。
自定义

要自定义指纹筛选器，请复制它以创建新的自定义令牌筛选器的基础。您可以使用过滤器的可配置参数来修改它。

例如，下面的请求创建了一个使用+来连接分词流的自定义指纹过滤器。该过滤器还将输出标记限制为100个字符或更少。

curl -X PUT "localhost:9200/custom_fingerprint_example?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "whitespace_": {
          "tokenizer": "whitespace",
          "filter": [ "fingerprint_plus_concat" ]
        }
      },
      "filter": {
        "fingerprint_plus_concat": {
          "type": "fingerprint",
          "max_output_size": 100,
          "separator": "+"
        }
      }
    }
  }
}
'

保留类型分词过滤器

保留或者删除指定类型的分词。例如你想要使用这个过滤器通过仅保留 （字母数字）分词将3 quick foxes改变为quick foxes。

提示：分词类型。将字符串转换为分词的时候通过分词器这是分词的类型。例如standard分词器可以生成多种分词类型，其中包含 <ALPHANUM>, <HANGUL>, and <NUM>。跟简单的分析器。例如小写分词器，只生成word分词类型。

某些分词过滤器也可以添加分词类型，例如 synonym 过滤器可以添加分词类型。

包含的示例

以下分析 API 请求使用 keep_types 过滤器仅保留来自 1 quick fox 2 lazy dogs 的 （数字）分词。

curl -X GET "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "standard",
  "filter": [
    {
      "type": "keep_types",
      "types": [ "<NUM>" ]
    }
  ],
  "text": "1 quick fox 2 lazy dogs"
}
'

过滤器产生以下标记：

[ 1, 2 ]
不包含的示例

以下分析 API 请求使用 keep_types 过滤器从 1 quick fox 2 lazy dogs 中删除 类型的分词。注意 mode 参数设置为 exclude。

curl -X GET "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "standard",
  "filter": [
    {
      "type": "keep_types",
      "types": [ "<NUM>" ],
      "mode": "exclude"
    }
  ],
  "text": "1 quick fox 2 lazy dogs"
}
'

过滤器产生以下标记：

[ quick, fox, lazy, dogs ]
配置参数
  • types：（必须的，字符串数组）删除和保留的分词列表
  • mode：（可选的，字符串），是否保留或者删除指定的分词类型。有效值为：
    • include
    • exclude
自定义和添加到分析器

如果需要自定义keep_types过滤去，请复制下边的语句作为创建keep_types过滤器的基础。你可以使用配置参数修改它。

例如，以下创建索引 API 请求使用自定义 keep_types 过滤器来配置新的自定义分析器。自定义 keep_types 过滤器仅保留 （字母数字）标记。

curl -X PUT "localhost:9200/keep_types_example?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "standard",
          "filter": [ "extract_alpha" ]
        }
      },
      "filter": {
        "extract_alpha": {
          "type": "keep_types",
          "types": [ "<ALPHANUM>" ]
        }
      }
    }
  }
}
'

保留单词分词过滤器

只保留包含在指定单词列表里的分词。

提示：从分词中移除单词请使用stop过滤器

示例

根据以下请求API使用keep过滤器只保留the quick fox jumps over the lazy dog中的fox和dog分词。

curl -X GET "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "whitespace",
  "filter": [
    {
      "type": "keep",
      "keep_words": [ "dog", "elephant", "fox" ]
    }
  ],
  "text": "the quick fox jumps over the lazy dog"
}
'

这过滤器生产的分词为：

[ fox, dog ]
配置参数
  • keep_words：（必须，字符串数组）。保留单词的列表。在输出结果中只包含在保留列表中匹配到的分词。
  • keep_words_path:(必须，字符串数组)包含保留单词列表的文件路径。这个路径相对于config必须是绝对路径或者相对路径，并且文件的编码为utf-8。每一个单词在文件中必须以换行符分隔。
  • keep_words_case：（可选的，boolean）。如果为true，转换所有单词为小写，默认为false。
自定义和添加到分析器上

如果需要自定义keep过滤去，请复制下边的语句作为创建keep过滤器的基础。你可以使用配置参数修改它。

curl -X PUT "localhost:9200/keep_words_example?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "standard_keep_word_array": {
          "tokenizer": "standard",
          "filter": [ "keep_word_array" ]
        },
        "standard_keep_word_file": {
          "tokenizer": "standard",
          "filter": [ "keep_word_file" ]
        }
      },
      "filter": {
        "keep_word_array": {
          "type": "keep",
          "keep_words": [ "one", "two", "three" ]
        },
        "keep_word_file": {
          "type": "keep",
          "keep_words_path": "analysis/example_word_list.txt"
        }
      }
    }
  }
}
'

keyword标记分词过滤器

标记指定的分词作为keyword使之不能被词干提取。

keyword_marker过滤器为指定的分词设置keyword属性为true。提取词干的过滤器，例如stemmer或者proter_stem会忽略keyword属性为true的分词。

提示：如果想要让keyword_marker过滤器生效，需要在stemmer过滤器之前列出。

示例

要查看keyword_marker过滤器的工作原理，你首先需要生产出被词干提取的分词的分词流。

根据以下请求API使用stemmer过滤器为fox running and jumping创建词干分词。

curl -X GET "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "whitespace",
  "filter": [ "stemmer" ],
  "text": "fox running and jumping"
}
'

以上的请求生成出以下分词。提示，running被词干为run。jumping被词干为jump。

[ fox, run, and, jump ]

为了避免jumping被提取词干，添加keyword_marker过滤器到stemmer过滤器之前。在keyword_marker过滤器的keyword参数为jumping。

curl -X GET "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "whitespace",
  "filter": [
    {
      "type": "keyword_marker",
      "keywords": [ "jumping" ]
    },
    "stemmer"
  ],
  "text": "fox running and jumping"
}
'

这个请求生成出以下分词。running仍然被提取词干为run，但是jumping没有被提取词干。

[ fox, run, and, jumping ]
配置参数

  • ignore_case：(可选，boolean)，如果为true，则keywords和keywords_path匹配会忽略大小写。默认为false。

  • keywords:(必须，字符串列表)。关键字列表。分词匹配到这些关键字将不会被提取词干。必须指定这个参数、keywords_path 或keywords_pattern。您不能同时指定此参数和 keyword_pattern。

  • keywords_path:（必需*，字符串）包含关键字列表的文件的路径。与这些关键字匹配的分词不会被提取词干。必须指定这个参数、keywords_path 或keywords_pattern。您不能同时指定此参数和 keyword_pattern。

  • keywords_pattern：（必需*，字符串）用于匹配分词的 Java 正则表达式。与此表达式匹配的分词被标记为关键字而不是词干。必须指定这个参数、keywords或keywords_path。您不能同时指定此参数和 keywords_path、keywords。

自定义并且新增到分析器上

要自定义 keyword_marker 过滤器，请复制它以创建新的自定义分词过滤器的基础。您可以使用过滤器的可配置参数来修改过滤器。

例如，以下创建索引 API 请求使用自定义 keyword_marker 过滤器和 porter_stem 过滤器来配置新的自定义分析器。

自定义 keyword_marker 过滤器将 analysis/example_word_list.txt 文件中指定的分词标记为关键字。 porter_stem 过滤器不会提取词干这些标记。

curl -X PUT "localhost:9200/my-index-000001?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_custom_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "my_custom_keyword_marker_filter",
            "porter_stem"
          ]
        }
      },
      "filter": {
        "my_custom_keyword_marker_filter": {
          "type": "keyword_marker",
          "keywords_path": "analysis/example_word_list.txt"
        }
      }
    }
  }
}
'

长度分词过滤器

删除短于或长于指定字符长度的分词。例如，您可以使用长度过滤器来排除短于 2 个字符的分词和长于 5 个字符的分词。

提示：长度分词过滤器删除的是整个分词。如果你希望分词缩短到特定的长度，请使用truncate过滤器。

示例

根据以下示例，利用长度分词过滤器删除超过4个字符的分词：

curl -X GET "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "whitespace",
  "filter": [
    {
      "type": "length",
      "min": 0,
      "max": 4
    }
  ],
  "text": "the quick brown fox jumps over the lazy dog"
}
'

过滤器产生以下标记

[ the, fox, over, the, lazy, dog ]
添加到分析器上
curl -X PUT "localhost:9200/length_example?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "standard_length": {
          "tokenizer": "standard",
          "filter": [ "length" ]
        }
      }
    }
  }
}
'
配置参数
  • min：（可选，integer），分词的最小字符长度。较短的分词从输出中排除。默认为 0。
  • max：（可选，integer），分词的最大字符长度。更长的分词被排除在输出之外。默认为 Integer.MAX_VALUE，即 2^31-1 或 2147483647。
自定义

要自定义长度过滤器，请复制它以创建新的自定义标记过滤器的基础。您可以使用过滤器的可配置参数来修改过滤器。

例如，以下请求创建了一个自定义长度过滤器，用于删除短于 2 个字符的分词和长于 10 个字符的分词：

curl -X PUT "localhost:9200/length_custom_example?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "whitespace_length_2_to_10_char": {
          "tokenizer": "whitespace",
          "filter": [ "length_2_to_10_char" ]
        }
      },
      "filter": {
        "length_2_to_10_char": {
          "type": "length",
          "min": 2,
          "max": 10
        }
      }
    }
  }
}
'

小写分词过滤器

略

模式捕获分词过滤器

略

模式替换分词过滤器

略

脚本分词过滤器

略

移除重复分词过滤器

略

反向分词过滤器

提取词干分词过滤器

提取词干覆盖分词过滤器

停用词分词过滤器

trim分词过滤器

截断分词过滤器

唯一分词过滤器

大写分词过滤器

单词分隔符分词过滤器

666呀
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[ElasticSearch]分析之Analysis(分析)
SmartSi
05-22 3290
分析(analysis)是将文本（如任何电子邮件的正文）转换为添加到倒排索引中进行搜索的tokens或terms的过程。 分析由分析器analyzer执行，分析器可以是内置分析器或者每个索引定制的自定义分析器。1. 索引时分析(Index time analysis)例如在索引时，内置的英文分析器将会转换下面句子："The QUICK brown foxes jumped over the laz
文本分类之词频统计（分词、词干提取、去停用词、计算词频，有界面）
05-15
主要是读取文本，然后进行分词、词干提取、去停用词、计算词频，有界面，很实用
ElasticSearch文本分析(一)
李玉志的博客
06-30 707
文章目录ElasticSearch文本分析(一)概述分词归一化自定义文本分析器概念分析器的剖析字符过滤器分词器分词过滤器索引和查询分析词干提取词干提取分词过滤器算法词干提取器词典词干提取器配置文本分析测试分析器配置内部分析其内部分析器参考指纹分析器示例输出配置配置例子定义`keyword`分析器例子输出配置定义语言分析器模式分析器例子输出配置配置实例驼峰分词器定义简单的分析器例子定义自定义标准分析器例子配置配置例子定义停用词分析器例子：配置配置例子：定义空格分析器例子配置定义 ElasticSearch文本
Elasticsearch-文本分析（Text Analysis）
七路灯
04-27 545
文本分析使Elasticsearch能够执行全文搜索，其中搜索返回所有相关结果，而不仅仅是精确匹配。 文本通过标记化（tokenization）使全文搜索成为可能，将文本分解为标记的更小块。在大多数情况下，这些标记是单个单词。 目录概念内置解析器 概念 分析器（无论是内置的还是自定义的）只是一个包，其中包含三个较低级别的构建块：字符过滤器（character filters），标记生成器（tokenizers）和标记过滤器（token filters）。 索引和搜索分析器：文本分析发生在两次时间，索引时
【Elasticsearch】文本分析 Text analysis (1)
Code Metaverse
03-03 709
Text analysis 是什么 Text analysis 是将分结构化文本转化成结构化文本的过程。 触发时机 当索引或者搜索text类型字段，就会触发文本分析。 工作流程 1.字符过滤器 字符过滤器是对原始文本的处理，比如转换文字编码，过滤网页元素等。 2.令牌生成器 令牌生成器将字符过滤器处理之后的字节流进行处理，得到令牌（tokens）。 分析器必须有且仅有一个令牌生成器。 3.令牌过滤器 令牌过滤器接收令牌生成器返回的令牌流，再做一些处理。 令牌过滤器不允许更改每个令牌的位置或字符偏移量。 分
Elasticsearch之文本分析过程
热门推荐
morris
11-06 1万+
词条（term）查询和全文（fulltext）查询最大的不同之处是：全文查询首先分析（Analyze）查询字符串，使用默认的分析器分解成一系列的分词，term1，term2，termN，然后从索引中搜索是否有文档包含这些分词中的一个或多个。 所以，在基于全文的检索里，ElasticSearch引擎会先分析（analyze）查询字符串，将其拆分成小写的分词，只要已分析的字段中包含词条的任意一个，或全部包含，就匹配查询条件，返回该文档；如果不包含任意一个分词，表示没有任何文档匹配查询条件。 这里就牵涉到了ES里
ElasticSearch之文本搜索
09-18
本文主要探讨Elasticsearch在文本搜索方面的应用，包括倒排索引的建立过程、文本搜索的执行步骤以及分析器在其中的作用。 1. **文本搜索简介** Elasticsearch的文本搜索能力基于倒排索引机制。倒排索引是一种允许...
ElasticSearch官方测试数据
09-14
Elasticsearch（ES）是一种流行的开源全文搜索引擎，它基于Lucene库构建，被广泛用于大数据分析、日志聚合、实时搜索和索引等场景。官方提供的测试数据集是检验Elasticsearch功能、性能和稳定性的关键资源，可以帮助...
elasticsearch 8.11.3 windows安装包
最新发布
01-10
无论您拥有结构化或非结构化文本、数字数据还是地理空间数据，Elasticsearch 都能以支持快速搜索的方式高效地存储和索引它。您可以超越简单的数据检索和聚合信息来发现数据中的趋势和模式。随着您的数据和查询量的...
elasticsearch7.17.11版本分词器插件安装包
11-13
Elasticsearch（简称ES）是一款基于Lucene的分布式、RESTful搜索引擎，广泛应用于日志收集、数据分析等领域，是ELK（Elasticsearch、Logstash、Kibana）堆栈的重要组成部分。在处理中文数据时，合理的分词对于提升...
elasticsearch-7.17.6及对应版本IK分词
02-19
无论您拥有结构化或非结构化文本、数字数据还是地理空间数据，Elasticsearch 都能以支持快速搜索的方式高效地存储和索引它。您可以超越简单的数据检索和聚合信息来发现数据中的趋势和模式。随着您的数据和查询量的...
Elasticsearch实战——结合文本分析，推荐算法和元启发式算法实现资源自动分配
yuuyuhaksho的博客
02-17 2168
工作中有很多工作调度和资源匹配的场景，比如客服，技术支持或工单分派：带有文本描述的工单被录入系统，模糊匹配资源库中的人力资源，然后被分配给最适合的人处理。在一些场景中，工单的执行结果和评价也会被记录，作为工单分派信息的一部分被保留。 由于场景复杂而且缺少标准化的问题描述，很多这类匹配问题仍然依赖人工，造成匹配时间延迟，匹配资源基于个人喜好和习惯而非基于可量化的标准。另外由于工单和资源的数据量巨大，...
[ElasticSearch]精确值与全文文本
SmartSi
10-19 2657
Elasticsearch中的数据可以大致分为两种类型：精确值和全文文本。 1. 精确值（Exact values） 精确值是精确的，正如它的名字一样。比如一个日期或一个用户ID，也可以包含精确的字符串，比如用户姓名或邮件地址。精确值"Foo"不同于和精确值"foo"。同样，精确值2014和精确值2014-09-15也不相同。 2. 全文文本（Full text）
Elasticsearch文本分析与分词器
苗小刀的博客
06-08 550
背景:公司最近采用Elasticsearch搜索，以前一直没有深入的了解过，今天看了一下Elasticsearch文本分析这一块，记录自己的理解，也为大家分享自己的见解，如有错误欢迎指正。     分词是针对于文字内容的，所以这里只说文本类型，说起分词，首先来说一下es中的类型，es以前的文本类型是String类型，后来将String类型一分为二，改为keyword与text类型，既然String一分为二，那么肯定这两个类型是有区别的。它们的区别如下。 均摘自于官网描
Elasticsearch in java范例：索引文本数据、搜索文本数据入门
gumpeng的博客
12-27 3610
本文主要是基于java语言，描述如果建议一个Elasticsearch索引数据的简单过程。1.建立schema{ "mappings": { "stock": { "_id": { "path": "id" }, "properties": { "id": { "type": "string"
Elasticsearch检索文档。
孤芳不自赏
08-31 895
博文中的内容来源《Elasticsearch权威指南（中文版）》这一本书，感激不尽。
Elasticsearch——Text Analysis
qq_37107851的博客
08-31 467
文本分析使Elasticsearch能够执行全文搜索，其中搜索返回所有相关结果，而不仅仅是精确匹配。 如果搜索Quick fox jumps，则可能需要包含A quick brown fox jumps over the lazy dog的文档，也可能需要包含相关单词（如fast fox或foxes leap）的文档。 标记化 分析通过标记化使全文搜索成为可能：将文本分解为更小的块，称为标记。在大多数情况下，这些标记是单个单词。 如果我们将短语“the quick brown fox jumps”作
【Elasticsearch】文本分析 Text analysis 配置文本分析 (2)
Code Metaverse
03-04 375
简单实例 这是一个简单的分析器，将文本通过空格拆分成各个tokens POST _analyze { "analyzer": "whitespace", "text": "The quick brown fox." } { "tokens" : [ { "token" : "The", "start_offset" : 0, "end_offset" : 3, "type" : "word", "position" :
Elasticsearch(二) 文档关系分析
哆啦咪~fo
05-17 387
关系型数据库中往往存在关系，包括1对1，1对多，多对多，通过连接，可以进行多表查询。elasticsearch作为数据存储，搜索，分析的框架，在存储上采用文档式的存储方式，因此再把关系型数据库比如mysql的数据导入elasticsearch时，需要根据数据关系设计索引映射。数据关系，数据特点以及在性能上需求都会影响着我们如何设计索引映射。 对象类型(最擅长处理一对一关系) 将对象作为文档的一...
Elasticsearch 富文本编辑器内容分析
05-14
如果您想在 Elasticsearch 中存储富文本内容并进行分析，可以使用 Elasticsearch 的 Ingest Node 插件来解析和处理富文本内容。以下是一些示例步骤： 1. 首先，您需要安装 Ingest Attachment 插件。该插件可以解析...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值