浅谈es的原理、机制，IK分词原理

最新推荐文章于 2024-10-17 09:00:00 发布

打豆豆。

最新推荐文章于 2024-10-17 09:00:00 发布

阅读量4.6k

点赞数 1

分类专栏：搜索文章标签： IK分词器原理

本文链接：https://blog.csdn.net/weixin_42323802/article/details/86033780

版权

本文探讨了Elasticsearch的分布式架构，包括主备机制和容错处理，以及IK分词器的工作原理，如词典树构建、切词方式和歧义判断。IK分词器通过不同的模式提供灵活的分词结果，并利用歧义分析裁决器处理可能的分词歧义。

摘要由CSDN通过智能技术生成

1、分布式的架构es都有哪些机制？

1、主备
primary shard 的副本 replica shard
primary shard不能和自己的replica shard放在同一个节点上、

2、容错
使用选举机制
master node宕机，选举master node，提升replica 为primary、
宕机的node重启数据恢复

2、IK分词原理

IK 分词器，
1、词典树Tire Tree的构建，即将现在的词典加载到一个内存结构中去
2、词的匹配查找，就是切词
3、歧义判断，即对不同切分方式的判定，哪种应是更合理的

2.1、词典树的构建

class DictSegment implements Comparable<DictSegment>{
     
  
    //公用字典表，存储汉字  
    private static final Map<Character , Character> charMap = new HashMap<Character , Character>(16 , 0.95f);  
    //数组大小上限  
    private static final int ARRAY_LENGTH_LIMIT = 3;  
  
      
    //Map存储结构  
    private Map<Character , DictSegment> childrenMap;  
    //数组方式存储结构  
    private DictSegment[] childrenArray;  
  
  
    //当前节点上存储的字符  
    private Character nodeChar;  
    //当前节点存储的Segment数目  
    //storeSize <=ARRAY_LENGTH_LIMIT ，使用数组存储， storeSize >ARRAY_LENGTH_LIMIT ,则使用Map存储  
    private int storeSize = 0;  
    //当前DictSegment状态 ,默认 0 , 1表示从根节点到当前节点的路径表示一个词  
    private int nodeState = 0;    
    ……