ElasticSearch 实战：分词器

Elasticsearch 中的分词器（Tokenizer）是文本分析过程中至关重要的组件，负责将输入的文本字符串分解成词汇单元（tokens）。这些词汇单元随后会被用于建立倒排索引，影响着搜索和查询的准确性。以下是一些关于分词器的实战示例和操作：

一、内置分词器

1. standard 分词器

Elasticsearch 的默认分词器，适用于大多数英文文本。它会根据空格、标点符号等将文本拆分成词项，并进行小写转换和标点符号过滤。

{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_standard_analyzer": {
          "type": "standard"
        }
      }
    }
  }
}

2. simple 分词器

仅根据非字母字符（如空格、标点等）进行拆分，不做其他处理，适合处理简单、已标准化的文本。

{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_simple_analyzer": {
          "type": "simple"
        }
      }
    }
  }
}

3. whitespace 分词器

仅根据空格拆分文本，不进行其他任何处理。

{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_whitespace_analyzer": {
          "type": "whitespace"
        }
      }
    }
  }
}

4. keyword 分词器

不对文本进行分词，整个字段作为一个单一的词汇单元。

{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_keyword_analyzer": {
          "type": "keyword"
        }
      }
    }
  }
}

二、语言特定分词器

1. icu_tokenizer

支持多种语言的Unicode文本分词，适用于国际化的多语言场景。

{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_icu_analyzer": {
          "tokenizer": "icu_tokenizer"
        }
      }
    }
  }
}

2. language-specific 分词器

如 english、french、spanish 等，为特定语言提供优化的分词规则。

{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_english_analyzer": {
          "type": "english"
        }
      }
    }
  }
}

三、中文分词器

1. ik_smart / ik_max_word 分词器（IK Analyzer）

适用于中文文本，提供智能分词和最大词模式。IK Analyzer 是常用的中文分词插件，需要额外安装。

{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_ik_smart_analyzer": {
          "type": "ik_smart"
        },
        "my_ik_max_word_analyzer": {
          "type": "ik_max_word"
        }
      }
    }
  }
}

四、自定义分词器

通过 tokenizer 设置创建自定义分词器，可以组合使用内置分词器并添加过滤器进行更精细的控制。

{
  "settings": {
    "analysis": {
      "tokenizer": {
        "my_custom_tokenizer": {
          "type": "pattern",
          "pattern": "[\\s,]+"  // 按照空格和逗号分词
        }
      },
      "analyzer": {
        "my_custom_analyzer": {
          "tokenizer": "my_custom_tokenizer",
          "filter": ["lowercase", "asciifolding"]  // 添加小写转换和ASCII折叠过滤器
        }
      }
    }
  }
}

五、测试分词器

使用 analyze API 测试分词器的效果：

curl -X GET "localhost:9200/_analyze?analyzer=my_standard_analyzer&text=Hello, World!" 

或在 Kibana Dev Tools Console：

GET _analyze
{
  "analyzer": "my_standard_analyzer",
  "text": "Hello, World!"
}

返回结果将展示分词器对指定文本的分词结果。

实战应用

• 根据文本内容的语言和特性选择合适的内置分词器。
• 对于中文场景，安装并配置如 IK Analyzer 等专门的中文分词插件。
• 自定义分词器以满足特定业务需求，如处理特定格式的标识符、自定义词汇表等。
• 使用 analyze API 在实际应用前测试分词器的分词效果，确保其符合预期。

通过熟练运用和配置分词器，可以确保Elasticsearch索引中的文本数据被正确解析和索引，从而提升搜索和查询的准确性。在实际操作中，务必参考官方文档以获取最新的分词器特性和最佳实践。