3.ElasticSearch系列之分词、索引、聚合

已于 2024-06-23 11:38:09 修改
阅读量276 收藏
点赞数
分类专栏： NOSQL 文章标签： elasticsearch 搜索引擎 java
于 2022-10-18 20:24:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SJshenjian/article/details/127395984
版权

1. 分词

1.1 Analysis与Analyzer

  • Analysis: 文本分析是把全文本转换一系列单词（term/token）的过程，也要分词
  • Analysis是通过Analyzer来实现的。可使用ElasticSearch内置分析器或按需定制化分析器
  • 除了在数据写入时转换词条，匹配Query语句时候也需要相同的分析器对查询语句进行分析

1.2 Analyzer组成

分词器Analyzer由三部分组成

  • Character Filters(针对原始文本处理，例如去除html)
  • Tokenizer(按照规则切分单词)
  • Token Filter(将切分的单词进行加工，小写，删除stopwords,增加同义词)

1.3 ElasticSearch内置分词器

  • Stanadard Analyzer - 默认分词器，按词切分，小写处理
  • Keyword Analyzer - 不分词，直接将输入当作输出
  • Customer Analyzer - 自定义分词器
  • Simple Analyzer/Stop Analyzer/Whitespace Analyzer/Pattern Analyzer/Language

1.4 使用_analyzer API

# 直接使用analyzer进行测试
GET _analyze
{
  "analyzer": "standard",
  "text": "I Love China"
}
# 指定索引的字段进行测试
POST books/_analyze
{
  "field": "title",
  "text": "I Love China"
}
# 自定义分词进行测试
POST _analyze
{
  "tokenizer": "standard",
  "filter": ["lowercase"],
  "text": "I Love China"
}

# 结果
{
  "tokens" : [
    {
      "token" : "i",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "love",
      "start_offset" : 2,
      "end_offset" : 6,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "china",
      "start_offset" : 7,
      "end_offset" : 12,
      "type" : "<ALPHANUM>",
      "position" : 2
    }
  ]
}

1.5 中文分词IK安装与使用

下载对应版本分词器https://github.com/medcl/elasticsearch-analysis-ik/releases

于ES安装目录plugins下并重命名为ik重启ES即可

对于docker-compose方式部署，可参考https://gitee.com/SJshenjian/blog-code/tree/master/src/main/java/online/shenjian/es并按照docker-compose.yml中挂载plugins目录重启即可

验证中文分词ik

# 最粗粒度分词
GET _analyze
{
  "analyzer": "ik_smart",
  "text": "我爱中华人民共和国"
}
{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "爱",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "中华人民共和国",
      "start_offset" : 2,
      "end_offset" : 9,
      "type" : "CN_WORD",
      "position" : 2
    }
  ]
}
# 最细粒度分词
GET _analyze
{
  "analyzer": "ik_max_word",
  "text": "我爱中华人民共和国"
}
{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "爱",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "中华人民共和国",
      "start_offset" : 2,
      "end_offset" : 9,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "中华人民",
      "start_offset" : 2,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "中华",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "华人",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 5
    },
    {
      "token" : "人民共和国",
      "start_offset" : 4,
      "end_offset" : 9,
      "type" : "CN_WORD",
      "position" : 6
    },
    {
      "token" : "人民",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 7
    },
    {
      "token" : "共和国",
      "start_offset" : 6,
      "end_offset" : 9,
      "type" : "CN_WORD",
      "position" : 8
    },
    {
      "token" : "共和",
      "start_offset" : 6,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 9
    },
    {
      "token" : "国",
      "start_offset" : 8,
      "end_offset" : 9,
      "type" : "CN_CHAR",
      "position" : 10
    }
  ]
}

2. 索引模板与索引

2.1 索引模板创建索引

可以通过kibana工具进行创建索引模板

也可以自定义语句，如创建poi索引模板

POST _index_template/poi
{
  "index_patterns": ["poi*"],
  "template" : {
    "settings" : {
      "index" : {
        "number_of_shards" : "1",
        "number_of_replicas" : "1"
      }
    },
    "mappings" : {
      "dynamic": "strict", // 严格模式，不允许动态创建字段
      "properties" : {
        "city" : {
          "type" : "keyword"
        },
        "region" : {
          "type" : "keyword"
        },
        "name" : {
          "type" : "text"
        },
        "location" : {
          "type" : "geo_point" // 地址坐标点类型，可以进行范围搜索
        }
      }
    }
  }
}
# 查看创建的索引
GET _index_template/poi
# 创建索引
PUT poi
# 查看索引
GET poi

2.2 索引新增字段及重建

# 索引poi新增创建时间字段
PUT poi/_mapping
{
  "properties": {
    "c_date": {
      "type": "date"
    }
  }
}
# 当想对name进行中文分词时，需要重建索引，然后修改模板，删除旧索引，在重建回来，如下步骤
POST _reindex
{
  "source": {
    "index": "poi"
  },
  "dest": {
    "index": "poi_bak"
  }
}
POST _index_template/poi
{
  "index_patterns": ["poi*"],
  "template" : {
    "settings" : {
      "index" : {
        "number_of_shards" : "1",
        "number_of_replicas" : "1"
      }
    },
    "mappings" : {
      "dynamic": "strict",
      "properties" : {
        "city" : {
          "type" : "keyword"
        },
        "region" : {
          "type" : "keyword"
        },
        "name" : {
          "type" : "text",
          "analyzer": "ik_smart" // 新增分词
        },
        "location" : {
          "type" : "geo_point"
        }
      }
    }
  }
}
DELETE poi
PUT POI
POST _reindex
{
  "source": {
    "index": "poi_bak"
  },
  "dest": {
    "index": "poi"
  }
}
// 如果想修改字段名，可在重建时进行修改
POST _reindex?wait_for_completion=false
{
  "source": {
    "index": "poi_bak"
  },
  "dest": {
    "index": "poi"
  },
  "script": {
    "source": "ctx._source.paiMaiType=ctx._source.remove(\"zcType\")"
  }
}

DELETE poi_bak

2.3 远程索引同步

# 远程索引同步至本地,conflicts=proceed遇到错误忽略继续执行
POST _reindex?wait_for_completion=false
{
  "source": {
    "remote": {
      "host": "http://192.168.0.XX:9200",
      "socket_timeout": "30s",
      "connect_timeout": "30s",
      "username": "xxxx",
      "password": "xxxx"
    },
    "index": "poi",
    "size": 1000,
    "query": {
      "match_all": {}
    }
  },
  "dest": {
    "index": "poi"
  }
}

3. 聚合

3.1 聚合分类

  • Bucket Aggregation：系列满足特定条件的文档的集合，如term range
GET kibana_sample_data_flights/_search
{
  "size": 0, // 只显示聚合结果
  "aggs": {
    "flight_dest": {
      "terms": {
        "field": "DestCountry" // 对该字段聚合
      }
    }
  }
}
// 结果示例
{
  "aggregations" : {
    "flight_dest" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 3187,
      "buckets" : [
        {
          "key" : "IT",
          "doc_count" : 2371
        },
        {
          "key" : "US",
          "doc_count" : 1987
        }
      ]
    }
  }
}
  • Metric Aggregation：一些数学运算，可以对文档字段进行统计分析, 如min max sum avg
GET kibana_sample_data_flights/_search
{
  "size": 0,
  "aggs": {
    "avg_price": {
      "avg": {
        "field": "AvgTicketPrice"
      }
    },
    "max_price": {
        "avg": {
          "field": "AvgTicketPrice"
        }
    }
  }
}

// 结果示例
{
  "took" : 5,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "max_price" : {
      "value" : 628.2536888148849
    },
    "avg_price" : {
      "value" : 628.2536888148849
    }
  }
}

GET kibana_sample_data_flights/_search
{
  "size": 0, 
  "aggs": {
    "flight_dest": {
      "terms": {
        "field": "DestCountry"
      },
      "aggs": { // 嵌套聚合出目的地的天气与票价信息
        "stat": {
          "stats": {
            "field": "AvgTicketPrice"
          }
        },
        "weather": {
            "terms": {
              "field": "DestWeather"
            }
        }
      }
    }
  }
}

// 结果示例
{
  "aggregations" : {
    "flight_dest" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 3187,
      "buckets" : [
        {
          "key" : "IT",
          "doc_count" : 2371,
          "stat" : {
            "count" : 2371,
            "min" : 100.57646942138672,
            "max" : 1195.3363037109375,
            "avg" : 586.9627099618385,
            "sum" : 1391688.585319519
          },
          "weather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "Clear",
                "doc_count" : 428
              },
              {
                "key" : "Thunder & Lightning",
                "doc_count" : 164
              }
            ]
          }
        }
      ]
    }
  }
}

  • Pipeline Aggregation: 对其他的聚合结果进行二次聚合

  • Matrix Aggregation: 支持对多个字段的操作并提供一个结果矩阵

欢迎关注公众号算法小生或沈健的技术博客shenjian.online

算法小生Đ
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
es创建索引设置字段不分词_【elasticsearch入门】elasticsearch索引的mapping及其设置...
weixin_39596720的博客
01-26 3740
mapping 顾名思义，代表了映射关系。是文档中字段和数据类型的映射关系为什么要了解mapping虽然elasticsearch中已尽有的动态mapping(Dynamic Mapping)，而且新增字段默认也会添加新的mapping，但是毕竟是机器，有时会推算的不对，比如地理位置信息，特殊格式化的日期类型等。这时，如果需要es提供排序、聚合等查询功能，就不能满足我们的需求。什么是mapping...
elasticsearch-7.17.6及对应版本IK分词
02-19
elasticsearch-7.17.6及对应版本IK分词 适合人群：elasticsearch初学者 Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎。Logstash 和 Beats 有助于收集、聚合和丰富您的数据并将其存储在 Elastic...
3. ElasticSearch分词器和聚合，数据的丰富和去重
07-02 881
ElasticSearch分词器和聚合1. analyzer1.1. 什么是analysis?1.2. 如何定义一个定制的分析器1.3. 中文分词器2. Aggregations2.1. [Bucket aggregation](https://elasticstack.blog.csdn.net/article/details/103679273)3. 1. analyzer 1.1. 什么是analysis? 分析是Elasticsearch在文档发送之前对文档正文执行的过程，以添加到反向索引中（in
Elasticsearch聚合和分词器
qq_49759864的博客
05-06 740
自定义声明和补全的模板
ElasticSearch（六）：聚合索引
Men-DD
07-25 2009
- ElasticSearch聚合操作 * 聚合的分类 * Metric Aggregation * Bucket Aggregation * Pipeline Aggregation * 聚合的作用范围 * 排序 - Elasticsearch 聚合性能优化 * ES聚合分析不精准原因分析 * 启用 eager global ordinals 提升高基数聚合性能 * 插入数据时对索引进行预排序 * 使用节点查询缓存 * 使用分片请求缓存 .
ElasticSearch笔记（2）索引、分词、DSL、聚合
codezhuyc的博客
04-29 882
一 倒排索引 1.1 什么是倒排索引 类似一些书籍后面的Index（一般以字母排序）， 倒排索引（Inverted Index）也叫反向索引，有反向索引必有正向索引。通俗地来讲，正向索引是通过key找value，反向索引则是通过value找key 1.2 核心组成 单词词典（Term Dictionary） 记录所有文档的单词，记录单词到倒排列表的关联关系 倒排列表（Posting） 记录了单...
ElasticSearch之索引结构
scorpio的博客
09-24 3214
ElasticSearch之索引结构
Elasticsearch从入门到项目部署 安装 分词器 索引库操作
我亦无他，唯手熟尔
04-28 1281
分词器的作用是什么？创建倒排索引时，对文档分词用户搜索时，对输入的内容分词IK分词器有几种模式？ik_smart：智能切分，粗粒度：最细切分，细粒度IK分词器如何拓展词条？如何停用词条？利用config目录的文件添加拓展词典和停用词典在词典中添加拓展词条或者停用词条索引库操作有哪些？创建索引库：PUT /索引库名查询索引库：GET /索引库名删除索引库：DELETE /索引库名修改索引库，添加字段：PUT /索引库名/_mapping。
一起学Elasticsearch系列-聚合查询
BookSea的博客
01-01 1025
聚合查询是 Elasticsearch 中一种强大的数据分析工具，用于从索引中提取和计算有关数据的统计信息。聚合查询可以执行各种聚合操作，如计数、求和、平均值、最小值、最大值、分组等，以便进行数据汇总和分析
3. ElasticSearch搜索技术深入与聚合查询实战
Zhuxiaoyu_91的博客
03-12 1089
分词器官方称之为文本分析器，顾名思义，是对文本进行分析处理的一种手段，基本处理逻辑为按照预先制定的分词规则，把原始文档分割成若干更小粒度的词项，粒度大小取决于分词器规则。
elasticsearch-7.17.3
06-09
Elasticsearch 7.17.3 是一个高度可扩展的开源全文搜索引擎，以其强大的分布式、实时搜索和分析能力而闻名。它基于Lucene构建，但提供了更高级别的API和服务，使得管理和操作大规模数据变得更加简单。这个版本的...
elasticsearch-analysis-ik-7.16.3.zip
11-04
Elasticsearch的IK分词器为中文全文检索提供了强大的支持，通过"elasticsearch-analysis-ik-7.16.3.zip"插件的安装和配置，我们可以轻松地在Elasticsearch中实现对中文文本的高效分词。无论是日志分析、内容推荐还是...
elasticsearch 2.X版本 IK分词器
11-06
IK分词器最初由开源社区开发，后来成为Elasticsearch官方推荐的中文分词工具之一。它具有以下特点： 1. **强大的分词能力**：IK支持标准分词、精确模式、扩展模式、全模式等多种分词策略，能够适应不同的应用场景。...
elasticsearch-analysis-ik-7.9.3.zip
11-13
7.9.3版本是该插件的一个稳定版本，旨在优化对Elasticsearch 7.x系列的支持，提供更加精准的中文分词效果。 该插件的实现依赖于一系列外部库，包括Apache的HTTP Client 4.5.2、HTTP Core 4.4.4、Commons Codec 1.9...
css in js 相比较 css modules 有什么好处？
前端原创分享，常年坚持记录和分享，全网阅读量超百万
07-25 382
CSS-in-JS 和 CSS Modules 都是用于管理 React 组件样式的流行方案，它们各有优势。动态样式：CSS-in-JS 可以轻松创建基于 props 或状态的动态样式，更灵活地处理复杂的样式逻辑。无需额外的构建配置：大多数 CSS-in-JS 解决方案可以直接使用，不需要额外的 webpack 配置。无需命名约定：CSS-in-JS 自动生成唯一的类名，避免了命名冲突，不需要遵循特定的命名规范。运行时优化：一些 CSS-in-JS 库支持运行时的样式优化，只加载当前渲染所需的样式。
Git操作指令（随时更新）
hsx18787462705的博客
07-24 539
【代码】Git操作指令。
Boost搜索引擎：如何建立 用户搜索内容 与 网页文件内容 之间的关系
2201_75324712的博客
07-23 1365
正排索引就是文档ID与文档之间的关系。正排索引文档ID文档内容0文档11文档2正排索引的建立，就是将文档ID与文档内容之间进行直接关联。如上表所示。那问题来了，该如何关联呢？我们可以利用线性表，如数组，数组下标与文档ID正好是对应的，我们将解析出来的数据进行提取，存放到一个包含 标题（title)，内容(content)，url(网址信息)的结构体，再将结构体放到数组中，这样就建立好了正排索引。
java springboot 集成 阿里通义千问
最新发布
qq_25987725的博客
07-25 393
一、在阿里云https://www.aliyun.com官网直接搜索“通义千问”，点击“开通DashScope”进行服务激活。四、在config目录添加配置 TongYiAiConfiguration.java。三、在yml中配置中配置key。二、加入Maven依赖。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

算法小生Đ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值