ElasticSearch文本分析(二)

最新推荐文章于 2024-04-24 14:42:00 发布
最新推荐文章于 2024-04-24 14:42:00 发布
阅读量473 收藏
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Suubyy/article/details/118364606
版权

文章目录

ElasticSearch文本分析(二)

分词器参考

分词器接收字符流，将其分解成单独的分词，并输出分词流。例如，空格分词器看到任何空格的时候，都会将文本分解成分词。它将会把"Quick brown fox!"w文本分解成 [Quick, brown, fox!]。

分词器还将负责记录一下内容：

  • 每个术语的位置和顺序
  • 在原文中开始和结束的偏移量
  • 分词类型，生成的术语分类。例如 <ALPHANUM>, <HANGUL>, 或者 <NUM>。更简单的分词器只会产生word分词类型

ElasticSearch内部有很多内置分词器，可以用于构建自定义分析器。

字符组分词器

每当遇到定义集中的字符时，char_group分词器都会将文本分解为术语。

配置

char_group 标记器接受一个参数：

tokenize_on_chars一个包含用于标记字符串的字符列表。每当遇到这个列表中的字符时，就会启动一个新的分词。它可以接受单个字符，如-，或字符组:空格，字母，数字，标点，符号。
max_token_length最大分词长度。如果一个分词超过了这个长度，那么将以max_token_length间隔对其进行分割。默认为255。
例子
curl -X POST "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": {
    "type": "char_group",
    "tokenize_on_chars": [
      "whitespace",
      "-",
      "\n"
    ]
  },
  "text": "The QUICK brown-fox"
}
'

响应值：

{
  "tokens": [
    {
      "token": "The",
      "start_offset": 0,
      "end_offset": 3,
      "type": "word",
      "position": 0
    },
    {
      "token": "QUICK",
      "start_offset": 4,
      "end_offset": 9,
      "type": "word",
      "position": 1
    },
    {
      "token": "brown",
      "start_offset": 10,
      "end_offset": 15,
      "type": "word",
      "position": 2
    },
    {
      "token": "fox",
      "start_offset": 16,
      "end_offset": 19,
      "type": "word",
      "position": 3
    }
  ]
}

Edge n-gram 分词器

edge_ngram标分词器首先在遇到指定字符列表中的一个时将文本分解为单词，然后它截取每个单词的n个字符，其中n个字符的开头固定在单词的开头。

提示：当您需要搜索具有广泛已知顺序的文本时，例如电影或歌曲标题，completion suggester分词器比 Edge N-gram 更有效。当尝试自动完成可以以任何顺序出现的单词时，Edge N-gram 具有优势。

例子

在默认设置下，edge_ngram 分词器将初始文本视为单个分词，并生成最小长度为 1 和最大长度为 2 的 N-gram：

curl -X POST "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "edge_ngram",
  "text": "Quick Fox"
}
'

上面的句子将产生以下术语：

[ Q, Qu ]

提示：默认的gram长度几乎完全没用。使用前需要配置edge_ngram。

配置

edge_ngram 分词器接受以下参数：

  • min_gram：gram字符的最小长度，默认为1

  • max_gram：gram字符的最大程度。默认为2。具体请参阅 max_gram 参数的限制。

  • token_chars：应该包含在分词器中的字符类。ElasticSearch将对不属于指定类的字符进行拆分。默认情况下保留所有字符。

    字符类可以是以下任何一种：

    • letter —  for example a, b, ï or 京
    • digit —  for example 3 or 7
    • whitespace —  for example " " or "\n"
    • punctuation — for example ! or "
    • symbol —  for example $ or √
    • custom —  custom characters which need to be set using the custom_token_chars setting.

  • cunstom_token_chars：自定义字符应该被视为一种分词。例如设置+-_成为分词的一部分。

max_gram参数的限制

edg_ngram分词的max_gram值限制了分词的字符长度。当 edge_ngram 分詞器与索引分析器一起使用时，这意味着大于 max_gram 长度的搜索词可能不匹配任何索引词。

例如，如果 max_gram 为 3，则对 apple 的搜索将与索引词 app 不匹配。a不会被拆分

配置示例

在这个例子中，我们配置 edge_ngram 分词器将字母和数字视为分词，并生成最小长度为 2 和最大长度为 10 的gram：

curl -X PUT "localhost:9200/my-index-00001?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "edge_ngram",
          "min_gram": 2,
          "max_gram": 10,
          "token_chars": [
            "letter",
            "digit"
          ]
        }
      }
    }
  }
}
'
curl -X POST "localhost:9200/my-index-00001/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "analyzer": "my_analyzer",
  "text": "2 Quick Foxes."
}
'

上面的例子产生以下术语：

[ Qu, Qui, Quic, Quick, Fo, Fox, Foxe, Foxes ]

keyword分词器

关键字标记器是一个“noop”标记器，它接受给定的任何文本并输出与单个术语完全相同的文本。它可以与令牌过滤器结合使用以标准化输出，例如小写电子邮件地址。

例子
curl -X POST "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "keyword",
  "text": "New York"
}
'

上面的句子将产生以下术语：

[ New York ]
结合分词过滤器

可以将关键字分词器与分词过滤器结合使用，以规范结构化数据，例如产品 ID 或电子邮件地址。

例如，以下分析 API 请求使用关键字标记器和小写过滤器将电子邮件地址转换为小写。

curl -X POST "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "keyword",
  "filter": [ "lowercase" ],
  "text": "john.SMITH@example.COM"
}
'

该请求产生以下令牌：

[ john.smith@example.com ]

LowerCase分词器

与lette分词器一样，当遇到不是字母的字符时就会将文本分词并且将其转换为小写。但是与lette相比，lowercase分词器性能更优

例子
curl -X POST "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "lowercase",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog\u0027s bone."
}
'

上面的句子将产生以下术语：

[ the, quick, brown, foxes, jumped, over, the, lazy, dog, s, bone ]

路径层次分词器

path_hierarchy分词器采用像文件系统路径一样的分层值，按照路径分隔符进行拆分，并为路径中每一个元素生成一个术语。

例子
curl -X POST "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "path_hierarchy",
  "text": "/one/two/three"
}
'

响应结果：

[ /one, /one/two, /one/two/three ]
配置

path_hierarchy接收以下参数：

delimiter路径分隔符。默认为/
replacement用于分隔符的可选替换字符。默认为分隔符
buffer_size-
reverse如果设置为 true，则以相反的顺序发出分词。默认为假。
skip要跳过的初始令分词数。默认为 0。
配置示例

例如，我们配置path_hierarchy分词器的拆分字符为-，并将他们替换为/。跳过前两个分词：

curl -X PUT "localhost:9200/my-index-000001?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "path_hierarchy",
          "delimiter": "-",
          "replacement": "/",
          "skip": 2
        }
      }
    }
  }
}
'
curl -X POST "localhost:9200/my-index-000001/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "analyzer": "my_analyzer",
  "text": "one-two-three-four-five"
}
'

上面的例子产生以下术语：

[ /three, /three/four, /three/four/five ]

如果我们将 reverse 设置为 true，它将产生以下结果：

[ one/two/three/, two/three/, three/ ]
详细例子

path_hierarchy分词器的一个常见用例就是通过文件路径来过滤结果。如果将数据与文件路径一起索引，则使用path_hierarchy分词器通过文件路径的不同部分来分析路径允许过滤结果。

这个例子配置了一索引有两个自定义分析器，并且将这些分析器应用于存储文件名称的file_path文本字段的多字段上。两个分析器之一使用反向标记化。然后对一些示例文档进行索引，以表示两个不同用户的照片文件夹中的照片的一些文件路径。

curl -X PUT "localhost:9200/file-path-test?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "custom_path_tree": {
          "tokenizer": "custom_hierarchy"
        },
        "custom_path_tree_reversed": {
          "tokenizer": "custom_hierarchy_reversed"
        }
      },
      "tokenizer": {
        "custom_hierarchy": {
          "type": "path_hierarchy",
          "delimiter": "/"
        },
        "custom_hierarchy_reversed": {
          "type": "path_hierarchy",
          "delimiter": "/",
          "reverse": "true"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "file_path": {
        "type": "text",
        "fields": {
          "tree": {
            "type": "text",
            "analyzer": "custom_path_tree"
          },
          "tree_reversed": {
            "type": "text",
            "analyzer": "custom_path_tree_reversed"
          }
        }
      }
    }
  }
}
'
curl -X POST "localhost:9200/file-path-test/_doc/1?pretty" -H 'Content-Type: application/json' -d'
{
  "file_path": "/User/alice/photos/2017/05/16/my_photo1.jpg"
}
'
curl -X POST "localhost:9200/file-path-test/_doc/2?pretty" -H 'Content-Type: application/json' -d'
{
  "file_path": "/User/alice/photos/2017/05/16/my_photo2.jpg"
}
'
curl -X POST "localhost:9200/file-path-test/_doc/3?pretty" -H 'Content-Type: application/json' -d'
{
  "file_path": "/User/alice/photos/2017/05/16/my_photo3.jpg"
}
'
curl -X POST "localhost:9200/file-path-test/_doc/4?pretty" -H 'Content-Type: application/json' -d'
{
  "file_path": "/User/alice/photos/2017/05/15/my_photo1.jpg"
}
'
curl -X POST "localhost:9200/file-path-test/_doc/5?pretty" -H 'Content-Type: application/json' -d'
{
  "file_path": "/User/bob/photos/2017/05/16/my_photo1.jpg"
}
'

模式分词器

模式分词器使用正则表达式来拆分文本为术语，或者匹配文本为术语。

默认正则表达式为\W+，当遇到非单词字符时进行拆分。

提示：小心病态正在表达式。模式分词器使用java的正则表达式。一个不好的正则表达式可能会拖慢性能，甚至导致内存溢出。获取更多帮助请参考pathological regular expressions and how to avoid them.

示例
curl -X POST "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "pattern",
  "text": "The foo_bar_size\u0027s default is 5."
}
'

返回：

[ The, foo_bar_size, s, default, is, 5 ]
配置

模式分词器接收以下参数：

patternjava正则表达式。默认为\W+
flagsjava正则表达式标志。标志应该通过管道符指定例如： "CASE_INSENSITIVE|COMMENTS".
group将捕获的哪个组提取为分词。默认值为-1 (split)。
配置示例

在此示例中，我们配置模式分词器以在遇到逗号时将文本分解为分词：

curl -X PUT "localhost:9200/my-index-000001?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "pattern",
          "pattern": ","
        }
      }
    }
  }
}
'
curl -X POST "localhost:9200/my-index-000001/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "analyzer": "my_analyzer",
  "text": "comma,separated,values"
}
'

返回：

[ comma, separated, values ]

在下一个示例中，我们将模式标记器配置为捕获用双引号括起来的值（忽略嵌入的转义引号 "）。正则表达式本身如下所示：

"((?:\\"|[^"]|\\")*)"

当在 JSON 中指定模式时，" 和 \ 字符需要转义，因此模式最终看起来像：

\"((?:\\\\\"|[^\"]|\\\\\")+)\"

curl -X PUT "localhost:9200/my-index-000001?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "pattern",
          "pattern": "\"((?:\\\\\"|[^\"]|\\\\\")+)\"",
          "group": 1
        }
      }
    }
  }
}
'
curl -X POST "localhost:9200/my-index-000001/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "analyzer": "my_analyzer",
  "text": "\"value\", \"value with embedded \\\" quote\""
}
'

上面的例子产生以下两个术语：

[ value, value with embedded \" quote ]

简单的模式匹配分词器

简单的模式匹配分词器用正在表达式来捕获匹配到的文本作为术语。它支持的正则表达式功能集比模式分词器更有限，但是这个分词器更快。简单的模式匹配分词器不像模式匹配分词器那样，它不支持在模式匹配上进行拆分。想要使用相同的受限的正则表达式的子集在模式匹配上进行拆分，请查看simple_pattern_split分词器。

此示例配置 simple_pattern 分词器以生成三位数的术语：

curl -X PUT "localhost:9200/my-index-000001?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "simple_pattern",
          "pattern": "[0123456789]{3}"
        }
      }
    }
  }
}
'
curl -X POST "localhost:9200/my-index-000001/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "analyzer": "my_analyzer",
  "text": "fd-786-335-514-x"
}
'

返回：

[ 786, 335, 514 ]

标准的分词器

标准分词器提供基于语法的分词（基于 Unicode 文本分割算法，如 Unicode 标准附件 #29 中所述）并且适用于大多数语言。

curl -X POST "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "standard",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog\u0027s bone."
}
'

返回：

[ The, 2, QUICK, Brown, Foxes, jumped, over, the, lazy, dog's, bone ]
配置

标准分词器接收以下参数：

  • max_token_length：最大分词的字符长度。如果看到超过此长度的令牌，则以 max_token_length 长度间隔拆分。默认为 255
配置实例

在此示例中，我们将标准分词器配置为 max_token_length 为 5（用于演示目的）：

curl -X PUT "localhost:9200/my-index-000001?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "standard",
          "max_token_length": 5
        }
      }
    }
  }
}
'
curl -X POST "localhost:9200/my-index-000001/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "analyzer": "my_analyzer",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}
'

返回：

[ The, 2, QUICK, Brown, Foxes, jumpe, d, over, the, lazy, dog's, bone ]

UAX URL email分词器

uax_url_email 标记器类似于标准标记器，除了它将 URL 和电子邮件地址识别为单个标记。

curl -X POST "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "uax_url_email",
  "text": "Email me at john.smith@global-international.com"
}
'

返回：

[ Email, me, at, john.smith@global-international.com ]

空格分词器

每当遇到空白字符时，空白标记器将文本分解为术语。

curl -X POST "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "whitespace",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog\u0027s bone."
}
'

返回

[ The, 2, QUICK, Brown-Foxes, jumped, over, the, lazy, dog's, bone. ]
配置

标准分词器接收以下参数：

  • max_token_length：最大分词的字符长度。如果看到超过此长度的令牌，则以 max_token_length 长度间隔拆分。默认为 255

分词过滤器参考

字符过滤器参考

666呀
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch的gateway分析
codingapple
12-13 4977
ElasticSearch的gateway功能，官方上的解释为时间机器。当集群整体down掉的时候，就好比时间机器一样进行数据的恢复。因此ElasticSearch的gateway模块就是为了集群的整体数据恢复服务的。         在上篇博客ElasticSearch的shard迁移中简单讲到了ElasticSearch的数据迁移，其实它算是当集群中有部分节点down掉后的局部恢复功能。本篇
Elasticsearch(自定义分析器)
wyqwilliam的博客
10-07 2525
自定义分析器 虽然Elasticsearch内置了一系列的分析器，但是真正的强大之处在于定制你自己的分析器。你可以通过在配置文件中组合字符过滤器，分词器和表征过滤器，来满足特定数据的需求。 分析器  是三个顺序执行的组件的结合（字符过滤器，分词器，表征过滤器）。   字符过滤器     字符过滤器是让字符串在被分词前变得更加“整洁”。例如，如果我们的文    本是HTML格式，它可能会包含一...
Elasticsearch：用于内容丰富的文本分析
最佳 Java 编程
05-15 386
每个文本搜索解决方案都与其提供的文本分析功能一样强大。 Lucene是这样的开源信息检索库，提供了许多文本分析的可能性。 在本文中，我们将介绍ElasticSearch提供的一些主要文本分析功能，这些功能可用来丰富您的搜索内容。 内容丰富 以一个典型的电子商务站点为例，向最终客户提供正确的搜索内容对于企业非常重要。 任何搜索解决方案提供的文本分析策略在其中都扮演着非常重要的角色。 作为搜...
ES自带分词器及IK分词器笔记
hello_yajing的博客
06-17 1425
一、分词 1、自带分词简单了解 standard：英文大写转小写，按空格分词，中文按单个字分词。 POST _analyze { "analyzer": "standard", "text": "Like X 国庆放假的" } 标准分析器接受下列参数： max_token_length ： 最大token长度，默认255。 stopwords ： 预定义的停止词列表，如_english_ 或包含停止词列表的数组，默认是 _none_。 stopwords_p...
Elasticsearch N-gram分词器介绍 (7)
最新发布
weixin_43394129的博客
04-24 388
一.概述 　　Ngram是一种基于统计语言模型的算法。Ngram基本思想是将文本里面的内容按照字节大小进行滑动窗口操作，形成长度是N的字节片段序列。此时每一个字节片段称为gram。对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间。列表中的每一种gram就是一个特征向量维度。 　　应用场景： 　　　　1)要分词的文本是：没有空格...
ElasticSearch进阶小记
Motionlesstar的博客
03-17 1225
es进阶查询
Elasticsearch-文本分析（Text Analysis）
七路灯
04-27 545
文本分析使Elasticsearch能够执行全文搜索，其中搜索返回所有相关结果，而不仅仅是精确匹配。 文本通过标记化（tokenization）使全文搜索成为可能，将文本分解为标记的更小块。在大多数情况下，这些标记是单个单词。 目录概念内置解析器 概念 分析器（无论是内置的还是自定义的）只是一个包，其中包含三个较低级别的构建块：字符过滤器（character filters），标记生成器（tokenizers）和标记过滤器（token filters）。 索引和搜索分析器：文本分析发生在两次时间，索引时
IK分词器修改最小分词长度
gxl___的博客
10-29 2631
目前做的项目中由于业务需求，需要把IK修改为最小分词长度为3，因此从网上下了IK的源码来修改。 IK分词器源码地址：https://download.csdn.net/download/gxl___/10750163 修改方法：   如上图所示，在该类中加入红框中的代码即可达到要求。如果想改为最小分词长度为2，将3改为2。 导入项目时选择导入maven项目，修改完之后重新打jar包替...
Elasticsearch——》edge_ngram 分词器
小仙~
05-10 946
Elasticsearch 中的 edge_ngram 是一种基于字符边缘的分词器，在生成索引时会将一个文本字段分成小的、重叠的字符串片段 n-gram，这些片段从文本的开头边缘开始，以固定长度向右扩展。它可以与搜索时指定的查询条件进行匹配，并根据匹配程度对文档进行评分。 dge_ngram 分词器的工作原理是将输入文本切分成一个个较小的子字符串，然后将这些子字符串作为词项添加到索引中。这个过程涉及两个参数：min_gram 和 max_gram，它们控制了生成的词项的长度范围。
ES分词器
weixin_40007182的博客
12-15 2860
ES分词器介绍
ES默认的标准分析器
duzm200542901104的专栏
07-25 850
分词器standard分词器分词过滤器standard分词过滤器、lowercase分词过滤器stop分词过滤器（默认不启用）如果我们需要定制化standard分析器超出了上面提供的三个配置参数，我们就需要重新创建一个个性化的分析器并修改它（通常情况下新增分词过滤器）。{{{{{"filter"[]}}}}}我们可以在lowercase的分词过滤器后面新增我们想要的过滤器。...
使用 Elasticsearch 轻松进行中文文本分类
qiuweifan的博客
08-19 1119
本文记录下使用 Elasticsearch 进行文本分类，当我第一次偶然发现 Elasticsearch 时，就被它的易用性、速度和配置选项所吸引。每次使用 Elasticsearch，我都能找到一种更为简单的方法来解决我一贯通过传统的自然语言处理 (NLP) 工具和技术来解决的问题。 在某个时刻，我意识到，它可以直接用来解决很多问题，而如果采用我以前学到的方法，则需要从头开始构建解决方案。
ElasticSearch之文本搜索
09-18
本文主要探讨Elasticsearch在文本搜索方面的应用，包括倒排索引的建立过程、文本搜索的执行步骤以及分析器在其中的作用。 1. **文本搜索简介** Elasticsearch的文本搜索能力基于倒排索引机制。倒排索引是一种允许...
ElasticSearch官方测试数据
09-14
Elasticsearch（ES）是一种流行的开源全文搜索引擎，它基于Lucene库构建，被广泛用于大数据分析、日志聚合、实时搜索和索引等场景。官方提供的测试数据集是检验Elasticsearch功能、性能和稳定性的关键资源，可以帮助...
elasticsearch7.17.11版本分词器插件安装包
11-13
Elasticsearch（简称ES）是一款基于Lucene的分布式、RESTful搜索引擎，广泛应用于日志收集、数据分析等领域，是ELK（Elasticsearch、Logstash、Kibana）堆栈的重要组成部分。在处理中文数据时，合理的分词对于提升...
elasticsearch 8.11.3 windows安装包
01-10
无论您拥有结构化或非结构化文本、数字数据还是地理空间数据，Elasticsearch 都能以支持快速搜索的方式高效地存储和索引它。您可以超越简单的数据检索和聚合信息来发现数据中的趋势和模式。随着您的数据和查询量的...
elasticsearch-7.17.6及对应版本IK分词
02-19
无论您拥有结构化或非结构化文本、数字数据还是地理空间数据，Elasticsearch 都能以支持快速搜索的方式高效地存储和索引它。您可以超越简单的数据检索和聚合信息来发现数据中的趋势和模式。随着您的数据和查询量的...
分布式搜索引擎Elasticsearch（三）:分词器与进阶知识
菜鸡也有大佬梦
10-30 968
一.Docker安装Elasticsearch与分词器 二.批量操作_bulk 一次请求多少性能最高？ 整个批量请求需要被加载到接受我们请求节点的内存里，所以请求越大，给其它请求可用的内存就越小。有一个最佳的bulk请求大小。超过这个大小，性能不再提升而且可能降低。 最佳大小，当然并不是一个固定的数字。它完全取决于你的硬件、你文档的大小和复杂度以及索引和搜索的负载。 幸运的是，这个最佳点(swe...
Elasticsearch 富文本编辑器内容分析
05-14
如果您想在 Elasticsearch 中存储富文本内容并进行分析，可以使用 Elasticsearch 的 Ingest Node 插件来解析和处理富文本内容。以下是一些示例步骤： 1. 首先，您需要安装 Ingest Attachment 插件。该插件可以解析各种文件格式，包括 HTML、PDF、Word 等。 2. 然后，您需要定义一个 Ingest Pipeline，将富文本内容传入 Ingest Attachment 插件进行处理。您可以使用以下命令来创建一个 Ingest Pipeline： ``` PUT _ingest/pipeline/my_attachment_pipeline { "description" : "Extract attachment information", "processors" : [ { "attachment" : { "field" : "my_field", "target_field": "my_attachment" } } ] } ``` 其中，my_field 是包含富文本内容的字段，my_attachment 是 Ingest Attachment 插件解析后生成的字段。 3. 接下来，您可以将文档通过该 Ingest Pipeline 进行处理，如下所示： ``` PUT my_index/_doc/my_id?pipeline=my_attachment_pipeline { "my_field" : "<html><body><h1>Hello World!</h1></body></html>" } ``` 在此示例中，我们将一个包含 HTML 内容的文档传入 Ingest Pipeline 进行处理。处理后，生成的文档将包含一个名为 my_attachment 的字段，其中包含解析后的富文本内容。 4. 最后，您可以使用 Elasticsearch 的聚合功能来分析富文本内容。例如，您可以使用 Term Aggregation 来查找包含特定词语的文档： ``` GET my_index/_search { "size": 0, "aggs": { "my_terms": { "terms": { "field": "my_attachment.content", "size": 10 } } } } ``` 在此示例中，我们使用 Term Aggregation 来查找包含特定词语的文档。我们将对 my_attachment.content 字段进行聚合，以查找包含最常见词语的文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值