Elasticsearch term vector

最新推荐文章于 2023-10-15 15:30:23 发布
最新推荐文章于 2023-10-15 15:30:23 发布
阅读量826 收藏 2
点赞数
分类专栏： # 分布式搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/miaomiao19971215/article/details/105880195
版权

Elasticsearch term vector

一. 概念

term vector用于获取document中某个field内各个不可分割的term(词条)的相关统计信息，它们包括以下内容:

  1. term information: term frequency in the field，term在一个field中出现的次数。
  2. term positions: term在field中出现的下标。
  3. start and end offsets:起始和结束下标，包含起始不包含结束。比如某个document的field为"abc def ghi"，那么abc的起始下标为0，结束下标为3。
  4. term payloads: term的编号，由Elasticsearch维护。
  5. term statistics: 词条的统计信息，当我们把term_statistic设置成true时生效。词条的统计信息包括: total term frequency(一个term在所有document中出现的频率)、document frequency(有多少个document包含这个term)。
  6. field statistic: 属性字段的统计信息，包括: document count(有多少个document包含这个field)，sum of document frequency(一个document中所有field的document frequency之和)，sum of total term frequency(一个field所有term的term frequency in the field之和)

Elasticsearch官方指出，term statistic和field statistic 并不准确，在统计时不会考虑某些document已经被删除的情况。这是因为Elasticsearch在收到删除请求后，只是简单的在数据上更新被删除的标记，并不会立刻删除数据。

通常来说，term vector很少使用，一般只会在对某些数据进行数据探查时使用。比如美团上可以查看到顾客搜索热度最高的词语，用于搜索推荐和词条推荐。

二. term vector数据的出现时机

term vector涉及到了许多关于term和field的统计信息，Elasticsearch提供了两种方式来收集这些统计信息。

  1. index time
    在创建index时，通过mapping内的设置开启term vector统计功能，当index创建完毕后，Elasticsearch也会随之完成统计信息的记录。index-time这种创建模式适用于那些需要被频繁进行term vector数据探查的index。

举例，仔细观察my_text和fullname数据结构的区别:

PUT index_name
{
  "settings": {
    "index": {
      "number_of_shards": 1,
      "number_of_replicas": 0
    },
    "analysis": {
      "analyzer": {
        "fulltext_analyzer": {
          "type": "custom", 
          "tokenizer": "whitespace",
          "filter": [
            "lowercase",
            "type_as_payload"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "my_text": { # index time
        "type": "text",
        "term_vector": "with_positions_offsets_payloads", # term_vector有no、yes、with_offset、with_positions等可选值
        "store": true, 
        "analyzer": "fulltext_analyzer"
      },
      "fullname": { # query time
        "type": "text",
        "analyzer": "fulltext_analyzer"
      }
    }
  }
}
  1. query time
    Elasticsearch在查询数据时，进行数据统计。这种方式又被称为"on the fly"，适合在很少使用term vector数据探查的index中使用。上方案例中，fullname字段使用了query time。数据探查时，query time与index time使用的语法没有任何区别。如果没有特殊要求，那么使用query time就足够了，index写操作的效率上要比index time高。

测试数据:

POST /index_name/_doc/1
{
  "fullname" : "Kerwin Kim",
  "my_text" : "hello test test test "
}

PUT /index_name/_doc/2
{
  "fullname" : "Kerwin Kim",
  "my_text" : "other hello test ..."
}

三. 数据探查

3.1 最基本的数据探查

使用termvectors api探查某一个document中的term vector统计信息。

GET /index_name/_doc/1/_termvectors
{
  "fields" : ["my_text"],
  "offsets" : true,
  "payloads" : true,
  "positions" : true,
  "term_statistics" : true,
  "field_statistics" : true
}

得到结果

{
  "_index" : "index_name",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "took" : 2,
  "term_vectors" : {
    "my_text" : {
      "field_statistics" : {
        "sum_doc_freq" : 6,
        "doc_count" : 2,
        "sum_ttf" : 8
      },
      "terms" : {
        "hello" : {
          "doc_freq" : 2,
          "ttf" : 2,
          "term_freq" : 1,
          "tokens" : [
            {
              "position" : 0,
              "start_offset" : 0,
              "end_offset" : 5,
              "payload" : "d29yZA=="
            }
          ]
        },
        "test" : {
          "doc_freq" : 2,
          "ttf" : 4,
          "term_freq" : 3,
          "tokens" : [
            {
              "position" : 1,
              "start_offset" : 6,
              "end_offset" : 10,
              "payload" : "d29yZA=="
            },
            {
              "position" : 2,
              "start_offset" : 11,
              "end_offset" : 15,
              "payload" : "d29yZA=="
            },
            {
              "position" : 3,
              "start_offset" : 16,
              "end_offset" : 20,
              "payload" : "d29yZA=="
            }
          ]
        }
      }
    }
  }
}

3.2 探查指定term的term vector

真实项目中，仅仅只是统计某一个document的term vector显然过于片面了，一般我们会针对某几个term在整个index中统计term vector。
在"doc"中写明需要探查的 term。

GET /index_name/_termvectors
{
  "doc": {
    "fullname": "Kerwin Kim",
    "my_text": "hello test"
  },
  "fields" : ["my_text", "fullname"],
  "offsets" : true,
  "payloads" : true,
  "positions" : true,
  "term_statistics" : true,
  "field_statistics" : true
}

得到结果:

{
  "_index" : "index_name",
  "_type" : "_doc",
  "_version" : 0,
  "found" : true,
  "took" : 8,
  "term_vectors" : {
    "fullname" : {
      "field_statistics" : {
        "sum_doc_freq" : 4,
        "doc_count" : 2,
        "sum_ttf" : 4
      },
      "terms" : {
        "kerwin" : {
          "doc_freq" : 2,
          "ttf" : 2,
          "term_freq" : 1,
          "tokens" : [
            {
              "position" : 0,
              "start_offset" : 0,
              "end_offset" : 6
            }
          ]
        },
        "kim" : {
          "doc_freq" : 2,
          "ttf" : 2,
          "term_freq" : 1,
          "tokens" : [
            {
              "position" : 1,
              "start_offset" : 7,
              "end_offset" : 10
            }
          ]
        }
      }
    },
    "my_text" : {
      "field_statistics" : {
        "sum_doc_freq" : 6,
        "doc_count" : 2,
        "sum_ttf" : 8
      },
      "terms" : {
        "hello" : {
          "doc_freq" : 2,
          "ttf" : 2,
          "term_freq" : 1,
          "tokens" : [
            {
              "position" : 0,
              "start_offset" : 0,
              "end_offset" : 5
            }
          ]
        },
        "test" : {
          "doc_freq" : 2,
          "ttf" : 4,
          "term_freq" : 1,
          "tokens" : [
            {
              "position" : 1,
              "start_offset" : 6,
              "end_offset" : 10
            }
          ]
        }
      }
    }
  }
}

3.3 指定分词器探查 term vector

如果doc中需要探查的term不想使用创建index时指定的分词器，则我们可以使用per_field_analyzer来分别指定doc中每一个field使用的分词器。

比如下述语句中，针对my_text字段指定了"english"分词器，而非创建index时指定的"fulltext_analyzer"分词器。(english会忽略时态，testing->test)

GET /index_name/_termvectors
{
  "doc": {
    "fullname": "Kerwin Kim",
    "my_text": "hello testing"
  },
  "fields" : ["my_text", "fullname"],
  "offsets" : true,
  "payloads" : true,
  "positions" : true,
  "term_statistics" : true,
  "field_statistics" : true,
  "per_field_analyzer": {
    "my_text": "english",
    "fullname": "standard"
  }
}

3.4 term vector filter

对index进行数据探查后，得到的结果中并非都是我们想要的数据，Elasticsearch可以帮助我们过滤掉这部分数据。
过滤时，使用了以下api：

  1. max_num_terms: 最多对多少个term进行数据探查。
  2. min_term_freq: term在一个field中最少出现多少次。
  3. min_doc_freq: term至少在多少个document中出现过。
GET /index_name/_termvectors
{
  "doc": {
    "fullname": "Kerwin Kim",
    "my_text": "hello test"
  },
  "fields" : ["my_text", "fullname"],
  "offsets" : true,
  "payloads" : true,
  "positions" : true,
  "term_statistics" : true,
  "field_statistics" : true,
  "per_field_analyzer": {
    "my_text": "english"
  }, 
  "filter": {
    "max_doc_freq": 1,
    "min_term_freq": 2,
    "max_num_terms": 3
  }
}

3.5 multi term vector

一次性对多个document进行数据探查，可以看作是对3.1节的补充。

GET _mtermvectors
{
  "docs": [
    {
      "_index": "index_name",
      "_id": 1,
      "term_statistics": true,
      "offsets": false
    },
    {
      "_index": "index_name",
      "_id": 2,
      "fields": [
        "my_text"  
      ],
      "offsets": true
    }
  ]
}

得到结果:

{
  "docs" : [
    {
      "_index" : "index_name",
      "_type" : "_doc",
      "_id" : "1",
      "_version" : 1,
      "found" : true,
      "took" : 0,
      "term_vectors" : {
        "my_text" : {
          "field_statistics" : {
            "sum_doc_freq" : 6,
            "doc_count" : 2,
            "sum_ttf" : 8
          },
          "terms" : {
            "hello" : {
              "doc_freq" : 2,
              "ttf" : 2,
              "term_freq" : 1,
              "tokens" : [
                {
                  "position" : 0,
                  "payload" : "d29yZA=="
                }
              ]
            },
            "test" : {
              "doc_freq" : 2,
              "ttf" : 4,
              "term_freq" : 3,
              "tokens" : [
                {
                  "position" : 1,
                  "payload" : "d29yZA=="
                },
                {
                  "position" : 2,
                  "payload" : "d29yZA=="
                },
                {
                  "position" : 3,
                  "payload" : "d29yZA=="
                }
              ]
            }
          }
        }
      }
    },
    {
      "_index" : "index_name",
      "_type" : "_doc",
      "_id" : "2",
      "_version" : 1,
      "found" : true,
      "took" : 0,
      "term_vectors" : {
        "my_text" : {
          "field_statistics" : {
            "sum_doc_freq" : 6,
            "doc_count" : 2,
            "sum_ttf" : 8
          },
          "terms" : {
            "..." : {
              "term_freq" : 1,
              "tokens" : [
                {
                  "position" : 3,
                  "start_offset" : 17,
                  "end_offset" : 20,
                  "payload" : "d29yZA=="
                }
              ]
            },
            "hello" : {
              "term_freq" : 1,
              "tokens" : [
                {
                  "position" : 1,
                  "start_offset" : 6,
                  "end_offset" : 11,
                  "payload" : "d29yZA=="
                }
              ]
            },
            "other" : {
              "term_freq" : 1,
              "tokens" : [
                {
                  "position" : 0,
                  "start_offset" : 0,
                  "end_offset" : 5,
                  "payload" : "d29yZA=="
                }
              ]
            },
            "test" : {
              "term_freq" : 1,
              "tokens" : [
                {
                  "position" : 2,
                  "start_offset" : 12,
                  "end_offset" : 16,
                  "payload" : "d29yZA=="
                }
              ]
            }
          }
        }
      }
    }
  ]
}
爱喝咖啡的程序员
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【Elasticsearch】在Elasticsearch中查询Term Vectors词条向量信息
九师兄
07-10 1027
1.概述 转载：https://www.cnblogs.com/xing901022/p/5348737.html 关于Term Vectors 额，对于这个专业词汇，暂且就叫做词条向量吧，因为实在想不出什么标准的翻译。说的土一点，也可以理解为关于词的一些统计信息。再说的通俗点，如果想进行全文检索，即从一个词搜索与它相关的文档，总得有个什么记录的信息吧！这就是Term Vectors。 为了不干扰正常的理解，后续就都直接称呼英文的名字吧！免得误导… 先不看这篇文章，如果想要记录全文检索的信息，大家设想一下.
elasticsearch-vector-scoring
04-28
快速Elasticsearch向量计分 使用此插件，您可以使用点积或余弦相似度根据嵌入向量对Elasticsearch文档进行评分。 一般的 ES 6.1的更新版本 余弦线支持已删除。 这个插件的灵感来自和，使处理速度比原始快10倍。 ...
elasticsearch高亮之词项向量
无风听海
03-15 2501
一、什么是词项向量 词项向量(term vector)是有elasticsearch在index document的时候产生，其包含对document解析过程中产生的分词的一些信息，例如分词在字段值中的位置、开始和结束的字符位置、分词的元数据payloads等； term vector是单独进行存储的，会额外多占用一杯的空间，所以elasticsearch默认情况下禁用词项向量，如果要启用，我们需要在字段的mapping中使用term_vector进行设置； 二、term_vector的配置选项 term
java searchterm_ElasticSearch 7 JAVA实例：术语向量(Term Vectors)API
weixin_34584899的博客
02-16 420
术语向量API返回特定文档字段中术语的信息和统计信息。文档可以存储在索引中或者由用户人工提供。TermVectorsRequest一个TermVectorsRequest需要一个索引、一个类型和一个id来指定某个文档以及为其检索信息的字段。TermVectorsRequestrequest=newTermVectorsRequest("authors","1");request.setF...
Elasticsearch 之（34）基于term vector深入探查数据的情况
weixin_30355437的博客
05-31 334
1、term vector介绍获取document中的某个field内的各个term的统计信息term information: term frequency in the field, term positions, start and end offsets, term payloadsterm statistics: 设置term_statistics=tr...
ElasticSearch之termvector介绍
alex的博客
06-16 7906
termvector会获取document中的某个field内的各个term的统计信息。一 term的基本信息 term_freq：term在该字段中的频率 position：词在该字段中的位置 start_offset：从什么偏移量开始的 end_offset: 到什么偏移量结束二 term的统计信息如果启用了term的统计信息，即term_statistics设为true，那么有哪些统计信息呢...
Elasticsearch7.x——Term vector API详解
吴声子夜歌的博客
10-15 229
Term和Field统计信息是不准确的，仅检索请求文档所在的分片 的信息，而删除的文档不考虑在内。词项向量(term vector)是有elasticsearch在index document的时候产生，其包含对document解析过程中产生的分词的一些信息，例如分词在字段值中的位置、开始和结束的字符位置、分词的元数据payloads等；此外，可以使用per_field_analyzer参数为不同的字段提供不同 的分析器，这对于以任何方式生成Term向量都很有用，特别是在使用 人工文档时。
在Elasticsearch中查询Term Vectors词条向量信息
xingoo
04-03 704
在Elasticsearch中查询Term Vectors词条向量信息 这篇文章有点深度，可能需要一些Lucene或者全文检索的背景。由于我也很久没有看过Lucene了，有些地方理解的不对还请多多指正。 更多内容还请参考整理的ELK教程 关于Term Vectors 额，对于这个专业词汇，暂且就叫做词条向量吧，因为实在想不出什么标准的翻译。说的...
Java学习教程：Elasticsearch系列---Term Vector工具探查数据
qfluohao的博客
05-09 242
概要 本篇主要介绍一个Term Vector的概念和基本使用方法。 term vector是什么？ 每次有document数据插入时，elasticsearch除了对document进行正排、倒排索引的存储之外，如果此索引的field设置了term_vector参数，elasticsearch还会对这个的分词信息进行计算、统计，比如这个document有多少个field，每个field的值分词处理后得到的term的df值，ttf值是多少，每个term存储的位置偏移量等信息，这些统计信息统称为term
四、查询文档（term和match）
dl674756321的博客
08-29 305
查询文档 词条查询 term：不会分析查询条件，只有当词条和查询字符串完全匹配时才匹配搜索 全文查询 match：会分析查询条件，先将查询条件进行分词，然后查询，最后求并集 # term 词条查询。查询的条件字符串和词条要完全匹配 # field指要查询的字段，value指查询的条件字符串 GET person/_search { "query": { "term": { "address": { "value": "北京" } } } }
elasticsearch-vector-scoring:对与ES具有纯点积余弦相似度的文档进行评分
05-04
用于Elasticsearch的矢量计分插件注意：此插件的大多数功能现已在ES中本机支持： : 另请参阅 。 该插件不再维护使用此插件，您可以使用点积或余弦相似度，根据任意原始向量对文档进行评分。发行版Master分支的目标是...
elasticsearch中term与match的区别讲解
08-26
今天小编就为大家分享一篇关于elasticsearch中term与match的区别讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
fast-elasticsearch-vector-scoring:使用ES Lucene引擎使用嵌入向量点积或余弦相似度对文档进行评分
05-13
对于Elasticsearch 7.9.0使用分支es-7.9.0 对于Elasticsearch 7.5.2使用分支es-7.5.2 对于Elasticsearch 7.5.0使用分支es-7.5.0 对于Elasticsearch 7.2.1，请使用分支es-7.2.1 对于Elasticsearch 7
elasticsearch-8.2.3 windows 版本
06-21
elasticsearch-8.2.3 windows 版本。 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的...
白话Elasticsearch61-进阶篇之基于Term Vectors深入探查数据的情况
小工匠
09-04 7871
文章目录概述官网 概述 继续跟中华石杉老师学习ES，第61篇 课程地址： https://www.roncoo.com/view/55 官网 Term Vectors： 戳这里 概括来说：Term Vectors就是 获取document中的某个field内的各个term的统计信息 ...
Elasticsearch系列---Term Vector工具探查数据
chen801090的博客
05-09 613
概要 本篇主要介绍一个Term Vector的概念和基本使用方法。 term vector是什么？ 每次有document数据插入时，elasticsearch除了对document进行正排、倒排索引的存储之外，如果此索引的field设置了term_vector参数，elasticsearch还会对这个的分词信息进行计算、统计，比如这个document有多少个field，每个field的值分词处理后得到的term的df值，ttf值是多少，每个term存储的位置偏移量等信息，这些统计信息统称为term
ElasticSearch 查看某个字段数据的分词结果
热门推荐
zl
01-10 2万+
GET /${index}/${type}/${id}/_termvectors?fields=${fields_name}
Elasticsearch大文件检索性能提升20倍实践（干货）
铭毅天下Elasticsearch
09-18 1万+
少废话，直接开始。1、大文件是多大？ES建立索引完成全文检索的前提是将待检索的信息导入Elaticsearch。项目中，有时候需要将一些扫描件、PDF文档、Word、Excel、PPT等文档内容导入Elasticsearch。比如：将《深入理解Elasticsearch》这边书导入ES，而这边书的全文内容被识别后的大小可能为3MB——5MB以上的字节。存入ES后是一个content字段，对这个con
elasticsearch term通配符
最新发布
05-07
Elasticsearch 中的 Term 查询是一种精确匹配查询，它会查找包含指定词项的文档。Term 查询支持通配符，以支持更广泛的查询需求。通配符可以用来替代一个或多个字符，这样就可以匹配更多的词项。 通配符有两种类型...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值