termvector会获取document中的某个field内的各个term的统计信息。
一 term的基本信息
term_freq:term在该字段中的频率
position:词在该字段中的位置
start_offset:从什么偏移量开始的
end_offset: 到什么偏移量结束
二 term的统计信息
如果启用了term的统计信息,即term_statistics设为true,那么有哪些统计信息呢?
doc_freq: 该词在文档中出现的频率
ttf:total term frequency的缩写,一个term在所有document中出现的频率
三 字段的统计信息
如果启用了字段统计信息,即field_statistics设为true,那么有哪些统计信息呢?
sum_doc_freq: 一个field中所有term的df之和
doc_count: 有多少个文档包含这个字段
sum_ttf:sum total term frequency的缩写, 一个field中的所有term的tf之和
term statistics和field statistics并不精准,不会被考虑有的doc可能被删除了
四 采集term信息的方式
采集term信息的方式有两种:index-time 和 query-time
4.1 index-time方式
需要在mapping配置一下,然后建立索引的时候,就直接生成这些词条和文档的统计信息
PUT /website
{
"mappings": {
"article": {
"properties": {
"text": {
"type": "text",
"term_vector": "with_positions_offsets",
"store": "true",
"analyzer": "fulltext"
}
}
}
},
"settings": {
"analysis": {
"analyzer": {
"fulltext": {
"type": "custom",
"tokenizer": "whitespace",
"filter": [
"lowercase",
"type_as_payload"
]
}
}
}
}
}
term_vector(词向量):该属性的取值可以为no(默认值)、yes、with_offsets、with_positions、with_positions_offsets。该属性表示是否对该字段计算lucene词向量,如果使用的是高亮则需要计算词向量。
4.2 query-time方式
即之前没有在mapping里配置过,而是通过查询的方式产生这些统计信息
curl -XGET 'http://localhost:9200/twitter/tweet/1/_termvectors?fields=text'
或者
POST /ecommerce/music/1/_termvectors
{
"fields":["desc"],
"offsets":true,
"payloads":true,
"positions":true,
"term_statistics":true,
"field_statistics" : true
}
五 手动指定analyzer来生成termvector
我么可以通过指定per_field_analyzer设置一个分词器对该字段文本进行分词。
POST /ecommerce/music/1/_termvectors
{
"fields":["desc"],
"offsets":true,
"payloads":true,
"positions":true,
"term_statistics":true,
"field_statistics" : true,
"per_field_analyzer":{
"text":"standard"
}
}
六 过滤term的统计信息
我们可以根据term的统计信息,过滤出我么想看的统计结果,比如过滤掉一些出现频率过低的term,比如我要过滤出该字段最多只有10个term,而且那些term在该字段中出现的频率为2,且
POST /ecommerce/music/1/_termvectors
{
"fields":["desc"],
"offsets":true,
"payloads":true,
"positions":true,
"term_statistics":true,
"field_statistics" : true,
"filter":{
"max_num_terms":10,
"min_term_freq" : 2,
"min_doc_freq" : 1
}
}
注意:默认这些统计信息是基于分片的,可以设置dfs为true,返回全部分片的信息,但是会有一定的性能问题,所以不推荐使用。还可以使用field字段对返回的统计信息的字段进行过滤,只返回感兴趣的那部分内容。
参考:https://www.cnblogs.com/xing901022/p/5348737.html
https://www.2cto.com/net/201711/698054.html