1.Spring Boot + RestHighLevelClient6.5 + IK6.5 分词器

最新推荐文章于 2023-11-23 10:54:48 发布

黑色小五子

最新推荐文章于 2023-11-23 10:54:48 发布

阅读量3.1k

点赞数 1

分类专栏： Elasticsearch

本文链接：https://blog.csdn.net/caiwen_5050/article/details/107533333

版权

Elasticsearch 专栏收录该内容

0 篇文章 0 订阅

订阅专栏

Spring Boot + RestHighLevelClient + IK 分词器

开发流程

使用Postman 操作

127.0.0.1:9200/_analyze

请求体：
{
	"analyzer":"ik_max_word",
	"text":"我是中国人"
}

响应体：
{
    "tokens": [
        {
            "token": "我",
            "start_offset": 0,
            "end_offset": 1,
            "type": "CN_CHAR",
            "position": 0
        },
        {
            "token": "是",
            "start_offset": 1,
            "end_offset": 2,
            "type": "CN_CHAR",
            "position": 1
        },
        {
            "token": "中国人",
            "start_offset": 2,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "中国",
            "start_offset": 2,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 3
        },
        {
            "token": "国人",
            "start_offset": 3,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 4
        }
    ]
}

使用 Java 链接ES，发送请求，获取响应流程

在这里插入图片描述

实操代码设置

AnalyzeRequest analyzeRequest = new AnalyzeRequest(INDEX_NAME);

analyzeRequest.text("我爱中国","我喜欢中国"); // 设置需要分词的中文字
analyzeRequest.analyzer("ik_smart");       // 设置使用什么分词器  也可以使用 ik_max_word 它是细粒度分词

try {
	AnalyzeResponse analyzeResponse = restHighLevelClient.indices().analyze(analyzeRequest, RequestOptions.DEFAULT);
	List<AnalyzeResponse.AnalyzeToken> tokens = analyzeResponse.getTokens(); // 获取所有分词的内容
	// 使用Java 8 语法获取分词内容
	tokens.forEach(token -> { 
	     // 过滤内容，如果文字小于2位也过滤掉
		 if (!"<NUM>".equals(token.getType()) || token.getTerm().length() > 2) {
		 	String term = token.getTerm(); // 分词内容
			System.out.prinlnt(term )
		}
	});

} catch (IOException e) {
	e.printStackTrace();
}