IK分词器

1、IK分词器有两种分词模式:ik_max_word和ik_smart模式。

        【1】ik_max_word (常用) 会将文本做最细粒度的拆分

POST _analyze
{
  "analyzer": "ik_max_word",
  "text": "北京市长春桥地铁站"
}

        

         【2】ik_smart会做最粗粒度的拆分

 

POST _analyze
{
  "analyzer": "ik_smart",
  "text": "北京市长春桥地铁站"
}

        

2、扩展词典使用

         扩展词就是不想让那些词被分开,让他们组成一个此,比如长春桥

        1、自定义扩展词库

        进入到config/analysis-ik(插件安装方式)或/usr/elasticsearch/plugins/analysis-ik/config/目录下新增自定义词典

        vi cc_ext_dict.dic 输入:长春桥

        

         2、自定义的扩展词典文件添加到IKAnalyzer.cfg.xml配置中

                vi IKAnalyzer.cfg.xml

                

        3、重启es

                /usr/elasticsearch/bin/elasticsearch

3、停用词典使用

        停用词就是在文本中出现频率很高,但是对语义产生不了多大的影响,比如中文的“的、哦、了、呢”等,这些词称为停用词。一般经常会被过滤掉不会进行索引

        1、自定义停用词库

        进入到config/analysis-ik(插件安装方式)或/usr/elasticsearch/plugins/analysis-ik/config/目录下新增自定义词典

        vi cc_stop_dict.dic 输入 的、哦、了、呢

        

        2、添加到IKAnalyzer.cfg.xml配置中

        

        3、重启es

                /usr/elasticsearch/bin/elasticsearch

 4、同义词典使用

        意思相同的词,在搜索时应该同时查出来,比如“馒头”和“馍”,这种情况叫做同义词查询

        注意:扩展词和停用词时在索引的时候使用,同义词是检索的时候

        1、创建synonym.txt

                vi synonym.txt 输入同义词

                

        2、重启es

                /usr/elasticsearch/bin/elasticsearch

        3、使用是指定synonym.text

                前缀路径为:/usr/elasticsearch/config/ 

                analysis:为自己创建的目录

                

PUT /cc003
{
  "settings": {
    "analysis": {
      "filter": {
        "word_sync": {
          "type": "synonym",
          "synonyms_path": "analysis/synonym.txt"
        }
      },
      "analyzer": {
        "ik_sync_max_word": {
          "filter": [
            "word_sync"
          ],
          "type": "custom",
          "tokenizer": "ik_max_word"
        },"ik_sync_smart": {
          "filter": [
            "word_sync"
          ],
          "type": "custom",
          "tokenizer": "ik_smart"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "ik_sync_max_word",
        "search_analyzer": "ik_sync_max_word"
      }
    }
  }
}

        4、添加内容

POST /cc003/_doc/1
{
  "name":"馒头你们哪里叫什么"
}

        5、查询

POST /cc003/_doc/_search
{
  "query":{
    "match":{
      "name": "馍"
    }
  }
}

         

### 关于 IK 分词器的下载与配置 #### 下载 IK 分词器 IK 分词器是一款基于 Apache Lucene 的开源中文分词插件,广泛应用于 Elasticsearch 中以支持更高效的中文全文检索功能。可以从指定的仓库中获取最新版本的 IK 分词器文件[^1]。 - **适用版本**: 当前提供的 IK 分词器适用于 Elasticsearch 7.14.0 和 7.15.2 版本。 - **项目地址**: 可通过以下链接访问官方仓库并完成下载操作:https://gitcode.com/open-source-toolkit/ef934 #### 安装 IK 分词器到 Elasticsearch 为了使 IK 分词器能够正常工作,需将其安装至已部署好的 Elasticsearch 实例上。以下是具体的操作说明: 1. 将下载得到的 `ik` 插件包解压后放置在 Elasticsearch 的 plugins 文件夹下; 2. 修改 elasticsearch.yml 配置文件,在其中加入必要的参数设置来启用自定义字典等功能[^3]; ```yaml # 设置默认使用的分词器名称为 ik_max_word 或者 ik_smart index.analysis.analyzer.default.type: custom index.analysis.analyzer.default.tokenizer: ik_max_word ``` 3. 启动或者重启 Elasticsearch 服务让改动生效。 #### 使用 IK 分词器进行数据分析 一旦成功集成了 IK 分词器之后,就可以利用它来进行更加精准的数据查询了。下面给出一段简单的 Python 脚本来演示如何构建索引以及执行基本搜索任务[^4]: ```python from elasticsearch import Elasticsearch es = Elasticsearch([{'host': 'localhost', 'port': 9200}]) def create_index(index_name, index_mapping): es.indices.create(index=index_name, body=index_mapping) mapping = { "settings": { "analysis": { "analyzer": { "my_analyzer": { "type": "custom", "tokenizer": "ik_max_word" } } } }, "mappings": { "properties": { "content": {"type":"text", "analyzer":"my_analyzer"} } } } create_index('test-index', mapping) res = es.index(index="test-index", id=1, body={"content": u"这是一个测试文档"}) print(res['result']) response = es.search( index='test-index', query={ "match": { "content": "这是 测试 文档" } }) for hit in response['hits']['hits']: print(hit["_source"]) ``` 上述脚本展示了创建一个新的带有特定映射规则的索引的过程,并向该索引添加了一条记录最后还进行了关键词匹配查找。 --- ###
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cc_南柯一梦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值