2024年大数据最新IK分词器(2)，面试必问

最新推荐文章于 2024-05-18 22:08:18 发布

2401_84166103

最新推荐文章于 2024-05-18 22:08:18 发布

阅读量228

点赞数 3

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84166103/article/details/138631497

版权

程序员专栏收录该内容

186 篇文章 1 订阅

订阅专栏

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

GET _analyze
{
  "analyzer": "ik\_smart",
  "text": ["好好学习"]
}
// 分词结果
{
  "tokens" : [
    {
      "token" : "好好学习",
      "start\_offset" : 0,
      "end\_offset" : 4,
      "type" : "CN\_WORD",
      "position" : 0
    }
  ]
}

最细粒度划分

GET _analyze
{
  "analyzer": "ik\_max\_word",
  "text": ["好好学习"]
}
// 分词结果
{
  "tokens" : [
    {
      "token" : "好好学习",
      "start\_offset" : 0,
      "end\_offset" : 4,
      "type" : "CN\_WORD",
      "position" : 0
    },
    {
      "token" : "好好学",
      "start\_offset" : 0,
      "end\_offset" : 3,
      "type" : "CN\_WORD",
      "position" : 1
    },
    {
      "token" : "好好",
      "start\_offset" : 0,
      "end\_offset" : 2,
      "type" : "CN\_WORD",
      "position" : 2
    },
    {
      "token" : "好学",
      "start\_offset" : 1,
      "end\_offset" : 3,
      "type" : "CN\_WORD",
      "position" : 3
    },
    {
      "token" : "学习",
      "start\_offset" : 2,
      "end\_offset" : 4,
      "type" : "CN\_WORD",
      "position" : 4
    }
  ]
}

自定义配置分词字典
elasticsearch-7.6.2\plugins\elasticsearch-analysis-ik-7.6.2\config\IKAnalyzer.cfg.xml

<!--新建 dic文件录入分词，在IKAnalyzer.cfg.xml中配置-->
<entry key="ext\_dict">春眠不觉晓.dic</entry>

GET _analyze
{
  "analyzer": "ik\_max\_word",
  "text": ["春眠不觉晓"]
}
// 自定义分词前
{
  "tokens" : [
    {
      "token" : "春",
      "start\_offset" : 0,
      "end\_offset" : 1,
      "type" : "CN\_CHAR",
      "position" : 0
    },
    {
      "token" : "眠",
      "start\_offset" : 1,
      "end\_offset" : 2,
      "type" : "CN\_CHAR",
      "position" : 1
    },


![img](https://img-blog.csdnimg.cn/img_convert/44b424d33beeaeb022a0dbc5d632a5f7.png)
![img](https://img-blog.csdnimg.cn/img_convert/5fdc54453c2360c724fc3934ca81e4a7.png)
![img](https://img-blog.csdnimg.cn/img_convert/20e6e17c09941213bdbab124e22fcaa7.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**