Elasticsearch hanlp分词大小写问题解决

最新推荐文章于 2023-08-27 20:13:17 发布
最新推荐文章于 2023-08-27 20:13:17 发布
阅读量948 收藏 2
点赞数 1
分类专栏： Elasticsearch 文章标签： elasticsearch hanlp es分词 分词大小写 hanlp分词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/enter89/article/details/117957215
版权

1. 先新增分词器 my_hanlp，分析器 my_hanlp_analyzer，并设置过滤器小写字母；

// 在hanlp基础上自定义分词器
PUT demo1/
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_hanlp_analyzer": {
          "tokenizer": "my_hanlp",
           "filter":"lowercase"
        }
      },
      "tokenizer": {
        "my_hanlp": {
          "type": "hanlp_index",
          "enable_stop_dictionary": true,
          "enable_custom_config": true
        }
      }
    }
  },
   "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "my_hanlp_analyzer"
      }
    }
  }
}

2. 增加两条测试数据

POST /demo1/_doc/1
{
  "title":"我们 us wELCOME To Beijing.",
  "content":"1 this is a test CONTENT。 在对阵匈牙利的赛前新闻发布会上，C罗将自己面前的可口可乐瓶子移开。"
}

POST /demo1/_doc/2
{
  "title":"2 我们 us welcome To Beijing. ",
  "content":"2 This is a test content 2 Welcome TO BEIJING。 在对阵匈牙利的赛前新闻发布会上，C罗将自己面前的可口可乐瓶子移开"
}

3. 测试大小写查询语句

GET /demo1/_search
{
  "query": {
    "multi_match": {
      "query": "BEIjing",
      "fields": [
        "title",
        "content"
      ]
    }
  },
  "highlight": {
    "fields": {
      "title": {},
      "content": {}
    }
  }
}

结果：

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 0.6602099,
    "hits" : [
      {
        "_index" : "demo1",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 0.6602099,
        "_source" : {
          "title" : "2 我们 us welcome To Beijing. ",
          "content" : "2 This is a test content 2 Welcome TO BEIJING。 在对阵匈牙利的赛前新闻发布会上，C罗将自己面前的可口可乐瓶子移开"
        },
        "highlight" : {
          "title" : [
            "2 我们 us welcome To <em>Beijing</em>."
          ],
          "content" : [
            "2 This is a test content 2 Welcome TO <em>BEIJING</em>。 在对阵匈牙利的赛前新闻发布会上，C罗将自己面前的可口可乐瓶子移开"
          ]
        }
      },
      {
        "_index" : "demo1",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.18824537,
        "_source" : {
          "title" : "我们 us wELCOME To Beijing.",
          "content" : "1 this is a test CONTENT。 在对阵匈牙利的赛前新闻发布会上，C罗将自己面前的可口可乐瓶子移开。"
        },
        "highlight" : {
          "title" : [
            "我们 us wELCOME To <em>Beijing</em>."
          ]
        }
      }
    ]
  }
}

4. 分词器测试

原生hanlp_index 索引分词器

// 原生hanlp_index分词器
POST demo1/_analyze
{
  "tokenizer": "hanlp_index",
  "text": [
    "This is a test content 2 Welcome TO BEIJING。 在对阵匈牙利的赛前新闻发布会上，C罗将自己面前"
  ]
}

// 分词结果
{
  "tokens" : [
    {
      "token" : "This",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "nx",
      "position" : 0
    },
    {
      "token" : "is",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "nx",
      "position" : 1
    },
    {
      "token" : "a",
      "start_offset" : 8,
      "end_offset" : 9,
      "type" : "nx",
      "position" : 2
    },
    {
      "token" : "test",
      "start_offset" : 10,
      "end_offset" : 14,
      "type" : "nx",
      "position" : 3
    },
    {
      "token" : "content",
      "start_offset" : 15,
      "end_offset" : 22,
      "type" : "nx",
      "position" : 4
    },
    {
      "token" : "2",
      "start_offset" : 23,
      "end_offset" : 24,
      "type" : "m",
      "position" : 5
    },
    {
      "token" : "Welcome",
      "start_offset" : 25,
      "end_offset" : 32,
      "type" : "nx",
      "position" : 6
    },
    {
      "token" : "TO",
      "start_offset" : 33,
      "end_offset" : 35,
      "type" : "nx",
      "position" : 7
    },
    {
      "token" : "BEIJING",
      "start_offset" : 36,
      "end_offset" : 43,
      "type" : "nx",
      "position" : 8
    },
    {
      "token" : "。",
      "start_offset" : 43,
      "end_offset" : 44,
      "type" : "w",
      "position" : 9
    },
    {
      "token" : "在",
      "start_offset" : 45,
      "end_offset" : 46,
      "type" : "p",
      "position" : 10
    },
    {
      "token" : "对阵",
      "start_offset" : 46,
      "end_offset" : 48,
      "type" : "vn",
      "position" : 11
    },
    {
      "token" : "匈牙利",
      "start_offset" : 48,
      "end_offset" : 51,
      "type" : "nsf",
      "position" : 12
    },
    {
      "token" : "的",
      "start_offset" : 51,
      "end_offset" : 52,
      "type" : "ude1",
      "position" : 13
    },
    {
      "token" : "赛前",
      "start_offset" : 52,
      "end_offset" : 54,
      "type" : "t",
      "position" : 14
    },
    {
      "token" : "新闻",
      "start_offset" : 54,
      "end_offset" : 56,
      "type" : "n",
      "position" : 15
    },
    {
      "token" : "发布会",
      "start_offset" : 56,
      "end_offset" : 59,
      "type" : "n",
      "position" : 16
    },
    {
      "token" : "发布",
      "start_offset" : 56,
      "end_offset" : 58,
      "type" : "v",
      "position" : 17
    },
    {
      "token" : "上",
      "start_offset" : 59,
      "end_offset" : 60,
      "type" : "f",
      "position" : 18
    },
    {
      "token" : "，",
      "start_offset" : 60,
      "end_offset" : 61,
      "type" : "w",
      "position" : 19
    },
    {
      "token" : "C",
      "start_offset" : 61,
      "end_offset" : 62,
      "type" : "nx",
      "position" : 20
    },
    {
      "token" : "罗",
      "start_offset" : 62,
      "end_offset" : 63,
      "type" : "b",
      "position" : 21
    },
    {
      "token" : "将",
      "start_offset" : 63,
      "end_offset" : 64,
      "type" : "d",
      "position" : 22
    },
    {
      "token" : "自己",
      "start_offset" : 64,
      "end_offset" : 66,
      "type" : "rr",
      "position" : 23
    },
    {
      "token" : "面前",
      "start_offset" : 66,
      "end_offset" : 68,
      "type" : "f",
      "position" : 24
    }
  ]
}

  my_hanlp分词器，在hanlp_index基础上,去停词和使用自定义字典；

// my_hanlp分词器，在hanlp_index基础上,去停词和使用自定义字典
POST demo1/_analyze
{
  "tokenizer": "my_hanlp",
  "text": [
    "This is a test content 2 Welcome TO BEIJING。 在对阵匈牙利的赛前新闻发布会上，C罗将自己面前"
  ]
}

// 分词结果
{
  "tokens" : [
    {
      "token" : "This",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "nx",
      "position" : 0
    },
    {
      "token" : "a",
      "start_offset" : 8,
      "end_offset" : 9,
      "type" : "nx",
      "position" : 1
    },
    {
      "token" : "test",
      "start_offset" : 10,
      "end_offset" : 14,
      "type" : "nx",
      "position" : 2
    },
    {
      "token" : "content",
      "start_offset" : 15,
      "end_offset" : 22,
      "type" : "nx",
      "position" : 3
    },
    {
      "token" : "2",
      "start_offset" : 23,
      "end_offset" : 24,
      "type" : "m",
      "position" : 4
    },
    {
      "token" : "Welcome",
      "start_offset" : 25,
      "end_offset" : 32,
      "type" : "nx",
      "position" : 5
    },
    {
      "token" : "TO",
      "start_offset" : 33,
      "end_offset" : 35,
      "type" : "nx",
      "position" : 6
    },
    {
      "token" : "BEIJING",
      "start_offset" : 36,
      "end_offset" : 43,
      "type" : "nx",
      "position" : 7
    },
    {
      "token" : "对阵",
      "start_offset" : 46,
      "end_offset" : 48,
      "type" : "vn",
      "position" : 8
    },
    {
      "token" : "匈牙利",
      "start_offset" : 48,
      "end_offset" : 51,
      "type" : "nsf",
      "position" : 9
    },
    {
      "token" : "赛前",
      "start_offset" : 52,
      "end_offset" : 54,
      "type" : "t",
      "position" : 10
    },
    {
      "token" : "新闻",
      "start_offset" : 54,
      "end_offset" : 56,
      "type" : "n",
      "position" : 11
    },
    {
      "token" : "发布会",
      "start_offset" : 56,
      "end_offset" : 59,
      "type" : "n",
      "position" : 12
    },
    {
      "token" : "发布",
      "start_offset" : 56,
      "end_offset" : 58,
      "type" : "v",
      "position" : 13
    },
    {
      "token" : "C",
      "start_offset" : 61,
      "end_offset" : 62,
      "type" : "nx",
      "position" : 14
    },
    {
      "token" : "罗",
      "start_offset" : 62,
      "end_offset" : 63,
      "type" : "b",
      "position" : 15
    },
    {
      "token" : "面前",
      "start_offset" : 66,
      "end_offset" : 68,
      "type" : "f",
      "position" : 16
    }
  ]
}

5. 分析器 my_hanlp_analyzer 分词； 在my_hanlp分词器基础上，转小写；

POST demo1/_analyze
{
  "analyzer": "my_hanlp_analyzer",
  "text": [
    "This is a test content 2 Welcome TO BEIJING。 在对阵匈牙利的赛前新闻发布会上，C罗将自己面前"
  ]
}

分词结果：

{
  "tokens" : [
    {
      "token" : "this",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "nx",
      "position" : 0
    },
    {
      "token" : "a",
      "start_offset" : 8,
      "end_offset" : 9,
      "type" : "nx",
      "position" : 1
    },
    {
      "token" : "test",
      "start_offset" : 10,
      "end_offset" : 14,
      "type" : "nx",
      "position" : 2
    },
    {
      "token" : "content",
      "start_offset" : 15,
      "end_offset" : 22,
      "type" : "nx",
      "position" : 3
    },
    {
      "token" : "2",
      "start_offset" : 23,
      "end_offset" : 24,
      "type" : "m",
      "position" : 4
    },
    {
      "token" : "welcome",
      "start_offset" : 25,
      "end_offset" : 32,
      "type" : "nx",
      "position" : 5
    },
    {
      "token" : "to",
      "start_offset" : 33,
      "end_offset" : 35,
      "type" : "nx",
      "position" : 6
    },
    {
      "token" : "beijing",
      "start_offset" : 36,
      "end_offset" : 43,
      "type" : "nx",
      "position" : 7
    },
    {
      "token" : "对阵",
      "start_offset" : 46,
      "end_offset" : 48,
      "type" : "vn",
      "position" : 8
    },
    {
      "token" : "匈牙利",
      "start_offset" : 48,
      "end_offset" : 51,
      "type" : "nsf",
      "position" : 9
    },
    {
      "token" : "赛前",
      "start_offset" : 52,
      "end_offset" : 54,
      "type" : "t",
      "position" : 10
    },
    {
      "token" : "新闻",
      "start_offset" : 54,
      "end_offset" : 56,
      "type" : "n",
      "position" : 11
    },
    {
      "token" : "发布会",
      "start_offset" : 56,
      "end_offset" : 59,
      "type" : "n",
      "position" : 12
    },
    {
      "token" : "发布",
      "start_offset" : 56,
      "end_offset" : 58,
      "type" : "v",
      "position" : 13
    },
    {
      "token" : "c",
      "start_offset" : 61,
      "end_offset" : 62,
      "type" : "nx",
      "position" : 14
    },
    {
      "token" : "罗",
      "start_offset" : 62,
      "end_offset" : 63,
      "type" : "b",
      "position" : 15
    },
    {
      "token" : "面前",
      "start_offset" : 66,
      "end_offset" : 68,
      "type" : "f",
      "position" : 16
    }
  ]
}

6. 总结

  • 如果analyzer中不添加filter：lowercase，则索引后会区分大小写，即搜索文字必须和原文的大小写一致才能被检索到；
  • title字段没有设置my_hanlp_analyzer，是默认的text类型，match时不区分大小写；

其他：

tokenizer、analyzer、filter 的概念参考改文章： https://cloud.tencent.com/developer/article/1706529

 

Waldenz
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
探索智能搜索的新边界：Elasticsearch 分析器 HanLP
gitblog_00068的博客
03-30 376
探索智能搜索的新边界：Elasticsearch 分析器 HanLP 项目地址:https://gitcode.com/pengcong90/elasticsearch-analysis-hanlp 在信息爆炸的时代，高效、精准的搜索已成为我们日常工作中不可或缺的一部分。Elasticsearch作为一个强大的搜索引擎，以其分布式、实时的特性赢得了广大开发者和企业的青睐。而为了更好地适应中文语言环...
Elasticsearch 分词
彳亍
07-20 453
Analysis 是指对全文本（Full Text）进行分词，以便生成供搜索用的倒排索引。 这个过程是由 analyzer（分析器、分词器） 来完成的。
Elasticsearch 入门到精通-Hanlp分词器的安装和使用
01-24 4883
Elasticsearch 入门到精通-Hanlp分词器的安装和使用
Elasticsearch实现英文区分大小写搜索
weixin_30435261的博客
06-15 3848
需求很简单，搜索时，有一个区分大小写的CheckBox,勾选则区分大小写，不勾选正常模糊搜索，或者其他搜索 首先搞清楚，ElasticSearch索引英文时默认索引时采用的分析器，会将全部字符转换为小写，所以采用默认分析器是无法实现区分大小写的。 最直接的方法就是自定义分词器， { "analysis": { "analyzer":{ "case_sensi...
ElasticSearch-Head创建索引
最新发布
weixin_44147913的博客
08-27 417
其中在查询下，第一行输入地址，专门建立索引的地址，第二行输入索引的名字，右边有put，get，post，delete，先说put，建立索引时候使用，下面的代码写完执行put，会出现。
ES映射中字段名大小写问题
u011197085的博客
07-11 1321
的字段，其中包含值 “Hello World”，你可以使用小写的 “hello world” 进行查询，因为在分析和索引过程中，Elasticsearch默认会将文本转化为小写。然而，值得注意的是，文档中的值，包括文本类型的值，通常在索引和查询时会被转化为小写（这也取决于你的分析器设置）。在Elasticsearch中，字段名（也就是映射中定义的）是区分大小写的。这些是默认的行为，但Elasticsearch提供了丰富的分析器和映射选项，可以允许你更改这些默认行为。去查询或索引，因为这会被视为不同的字段。
Elasticsearch - 分析器以及是否区分大小写 - 学习/实践
william_n的博客
12-06 835
1.应用场景 主要用于使用ES做搜索时， 了解其中的原理以及应对方案。 2.学习/操作 1.文档阅读 Elasticsearch分析器结构组成 - Jong_L - 博客园 分析与分析器 | Elasticsearch: 权威指南 | Elastic ES之分析器(Analyzer) - 简书 elasticsearch分析器 - 简书 Analysis | Elasticsearch Reference [5.5] |
解决elasticsearch主分片unassigned的问题
真理部
04-18 5795
[root@localhost ~]# sh -x /tmp/es.sh + curl -XPOST localhost:9500/_cluster/reroute -d ‘{ “commands”:[ { “allocate”:{ “index”: “simtest”, “...
Elasticsearch hanlp 分词插件
10-19
elasticsearch-6.4.2 hanlp分词插件 windows下安装命令 首先进入es bin目录 elasticsearch-6.4.2\bin> 然后执行 elasticsearch-plugin.bat install file:///E:/elasticsearch-analysis-ik-6.4.2.zip Linux下安装...
hanlp分词es插件字典和模型大全
08-18
elasticsearch-analysis-hanlp-7.x.x：es插件安装包，安装说明在包内 elasticsearch-analysis-hanlp-master-7.x.x：es插件源码和引用 HanLP-portable-1.7.3：hanlp分词器源码 1. 修改了hanlp-portable-1.7.3源码中...
ElasticSearch安装包整理，包含Hanlp分词，IK分词，x-pack,，Mysql动态加载停用词、基础词、同义词
12-03
ElasticSearch安装包整理，包含Hanlp分词，IK分词，x-pack,，Mysql动态加载停用词、基础词、同义词，个人整理的ElasticSearch7.9.0安装压缩包，其中的同义词，基础词，停用词mysql动态加载属于个人完善并编译，多年...
基于HanLP自然语言处理包的elasticsearch分词器.zip
05-07
基于HanLP自然语言处理包的elasticsearch分词器.zip 大学生课程设计 基于elasticsearch的课程设计 自己大二写的课程设计
elasticsearch-analysis-hanlp:基于hanlp的elasticsearch分词插件
05-05
elasticsearch-analysis-hanlp安装步骤：1、下载插件并解压到es的plugins目录下修改analysis-hanlp目录下的hanlp.properties文件，修改root的属性，值为analysis－hanlp下的data 目录的地址修改analysis-hanlp目录下...
hanlp中文智能分词自动识别文字提取实例
张伟的专栏
03-01 260
需求：客户给销售员自己的个人信息，销售帮助客户下单，此过程需要销售人员手动复制粘贴收获地址，电话，姓名等等，一个智能的分词系统可以让销售人员一键识别以上各种信息。1 [汤姆/nrf, 江西省/ns, 南昌市/ns, 红谷滩/nz, 新区/n, 111/m, 号/q, 电话/n, 12023232323/m]大公告成，不过前提必须下载那个600多M的data包并导入，才可以识别地址，否则只是做了初步的识别。3、mmseg4j 分词器。10、hanlp 分词器。1、word 分词器。2、ansj 分词器。
ElasticSearch索引字段检索时使其不区分大小写
Xx__WangQi的博客
04-26 1433
官网指南：https://www.elastic.co/guide/en/elasticsearch/reference/current/normalizer.html 在 Elasticsearch 中处理字符串类型的数据时，如果我们想把整个字符串作为一个完整的 term 存储，我们通常会将其类型type设定为keyword。但有时这种设定又会给我们带来麻烦，比如同一个数据再写入时由于没有做好清洗，导致大小写不一致，比如apple、Apple两个实际都是apple，但当我们去搜索app...
Elasticsearch 分词器的使用与IK分词器安装
scdncby的博客
08-13 727
Elasticsearch 分词器安装与使用 ES内置分词器 standard：默认分词器，简单会被拆分，英文统一转换为小写 simlle：按照非字母分词，英文统一转换为小写 whitespace：按照空格分词 stop：去除无意义的单词，比如：the、is、a、an keyword：不做分词，把文本的整体当作一个单独的关键词 测试分词结果 指定分词器测试结果 GET http://192.168.213.154:9200/_analyze POST http://192.168
Elasticsearch KeyWord和Text
weixin_43326165的博客
11-22 1527
今天写代码的时候遇到一个问题 我们可以看到我们的gender有两个属性F、M 但是我们下面这样写代码并查不到数据 看别人这样写，又能查到数据 出于对求知的欲望，研究了一下为什么有了以下结论。 Elasticsearch两大数据类型 ES有两个数据类型，keyword和text。keyword表示不会被自动分词，而text会自动分词分词后的字母会全部转为小写。 而我数据正好是通过自动导入的，于...
关于elasticsearch出现大小写错误问题
kkc004的博客
08-17 171
注意：“discovery.type=single-node” “-Xms256m -Xmx512m” 双引号必须大写。
elasticsearch系统学习笔记5-中文分词器
晨猫
01-28 413
elasticsearch系统学习笔记5-中文分词器 IK https://github.com/medcl/elasticsearch-analysis-ik Analyzer: ik_smart , ik_max_word Tokenizer: ik_smart , ik_max_word 下载 下载地址 https://github.com/medcl/elasticsearch-analysis-ik/releases 本机下载 elasticsearch-analysis-ik-6.3.2
es text类型设置分词过滤大小写
07-22
在Elasticsearch中，可以通过设置mapping的方式来控制text字段的分词和大小写处理。下面是一个示例的mapping设置，将text字段进行分词，并且将分词结果转换为小写： ```json PUT my_index { "mappings": { "properties": { "my_field": { "type": "text", "analyzer": "standard", "normalizer": "lowercase" } } } } ``` 在上述示例中，我们将`my_field`字段的类型设置为text，并使用standard分析器进行分词。同时，通过normalizer参数指定lowercase规范器，将所有分词结果转换为小写。 当你对该字段进行索引和搜索时，Elasticsearch会根据指定的分词器进行分词处理，并使用lowercase规范器将分词结果转换为小写形式。这样可以实现在搜索时忽略大小写的效果。 请注意，在已经存在的索引中修改mapping是不允许的，需要重新创建索引或者使用reindex等方式来处理数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值