【开发心得】es7 spring data elastic search Java API 分词操作

最新推荐文章于 2024-07-17 00:02:31 发布

虹梦未来

最新推荐文章于 2024-07-17 00:02:31 发布

阅读量714

点赞数

分类专栏： Java elk 开发心得文章标签： spring java elasticsearch

本文链接：https://blog.csdn.net/qq_26834611/article/details/120041703

版权

开发心得同时被 3 个专栏收录

114 篇文章 0 订阅

订阅专栏

Java

21 篇文章 0 订阅

订阅专栏

elk

10 篇文章 0 订阅

订阅专栏

本文介绍了如何在ELK 7.8环境中，利用Kibana、REST请求或Java API（如Elasticsearch High Level Client）进行Elasticsearch的分词验证。示例中展示了使用IK分词器对中文文本的分析过程，并提及了通过MySQL进行自定义热词更新的方法。此外，还提供了使用Java实现分词分析的代码示例。

摘要由CSDN通过智能技术生成

前言:

有的时候，我们希望能够直接借助es的分词功能，可以借助kibana或者其他可视化工具，甚至是rest请求，直接验证分词结果。

(elk7.8环境，配置了ik插件)

GET _analyze
{
  "analyzer":"ik_smart",
  "text":"小龙女对杨过笑了"
  
}

{
  "tokens" : [
    {
      "token" : "小龙女",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "对",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "杨过",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "笑了",
      "start_offset" : 6,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 3
    }
  ]
}

对于一些特殊的名词，我们可以借助ik的自定义热词更新，如使用mysql完成。

如果想使用Java(elastic search high level client,spring data elastic template等)

参考如下实现(es7.x,spring data es 4.x 高版本实现):

 AnalyzeRequest request = AnalyzeRequest.withIndexAnalyzer(
                "es_document_data",
                "ik_smart",
                "杨过对小龙女笑了"
        );
        AnalyzeResponse response = restHighLevelClient.indices().analyze(request, RequestOptions.DEFAULT);
        List<AnalyzeResponse.AnalyzeToken> tokens = response.getTokens();
        DetailAnalyzeResponse detail = response.detail();
        System.out.println(JSON.toJSONString(tokens));
//        System.out.println(detail);

特此记录下，百度很多搜到的都是->https://www.cnblogs.com/technologykai/articles/9792200.html

但是原博很明显版本是基于低于7以下的版本处理的.