实战技术！Elasticsearch 2.2.0 分词篇：中文分词

最新推荐文章于 2024-04-02 10:02:38 发布

AI科学小老师

最新推荐文章于 2024-04-02 10:02:38 发布

阅读量178

点赞数

本文链接：https://blog.csdn.net/weixin_41663412/article/details/104987878

版权

本文介绍了在Elasticsearch 2.2.0中如何安装和使用SmartCN分词器，并对比了标准分词的效果。此外，还详细阐述了如何使IKAnalyzer支持2.2.0版本，包括修改源码、编译及配置步骤。通过示例展示了分词结果的差异，并解释了如何扩展词库。

摘要由CSDN通过智能技术生成

个人博客导航页（点击右侧链接即可打开个人博客）：大牛带你入门技术栈

在Elasticsearch中，内置了很多分词器（analyzers），但默认的分词器对中文的支持都不是太好。所以需要单独安装插件来支持，比较常用的是中科院 ICTCLAS的smartcn和IKAnanlyzer效果还是不错的，但是目前IKAnanlyzer还不支持最新的Elasticsearch2.2.0版本，但是smartcn中文分词器默认官方支持，它提供了一个中文或混合中文英文文本的分析器。支持最新的2.2.0版本版本。但是smartcn不支持自定义词库，作为测试可先用一下。后面的部分介绍如何支持最新的版本。

smartcn

安装分词：plugin install analysis-smartcn

卸载：plugin remove analysis-smartcn

测试：

请求：POST http://127.0.0.1:9200/_analyze/

{
  "analyzer": "smartcn",
  "text": "联想是全球最大的笔记本厂商"
}

返回结果：

{
    "tokens": [
        {
            "token": "联想", 
            "start_offset": 0, 
            "end_offset": 2, 
            "type": "word", 
            "position": 0
        }, 
        {
            "token": "是", 
            "start_offset": 2, 
            "end_offset": 3, 
            "type": "word", 
            "position": 1
        }, 
        {
            "token": "全球", 
            "start_offset": 3, 
            "end_offset": 5, 
            "type": "word", 
            "position": 2
        }, 
        {
            "token": "最", 
            "start_offset": 5, 
            "end_offset": 6, 
            "type": "word", 
            "position": 3
        }, 
        {
            "token": "大", 
            "start_offset": 6, 
            "end_offset": 7, 
            "type": "word", 
            "position": 4
        }, 
        {
            "token": "的", 
            "start_offset": 7, 
            "end_offset": 8, 
            "type": "word", 
            "position": 5
        }, 
        {
            "token": "笔记本", 
            "start_offset": 8, 
            "end_offset": 11, 
            "type": "word", 
            "position": 6
        }, 
        {
            "token": "厂商", 
            "start_offset": 11, 
            "end_offset": 13, 
            "type": "word", 
            "position": 7
        }
    ]
}

作