ES中如何使用逗号来分词

最新推荐文章于 2023-11-01 07:41:33 发布
最新推荐文章于 2023-11-01 07:41:33 发布
阅读量9.1k 收藏 4
点赞数
分类专栏： ElasticSearch 文章标签： elasticsearch

使用软件版本：elasticsearch-2.2.0

1. setting:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
curl -XPOST  'http://localhost:9200/data'  -d '{
     "settings" : {
         "analysis" : {
             "analyzer" : {
                 "comma" : {
                      "type" :  "pattern" ,
                      "pattern" : ","
                     }
                 }
             }
         }
     }
}
'

return:

?
1
{ "acknowledged" : true }

2. view index:

?
1
curl -XGET  'http://localhost:9200/data'

return:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
{
    "data" : {
       "aliases" : {},
       "mappings" : {},
       "settings" : {
          "index" : {
             "creation_date" :  "1456931889151" ,
             "analysis" : {
                "analyzer" : {
                   "comma" : {
                      "pattern" :  "," ,
                      "type" :  "pattern"
                   }
                }
             },
             "number_of_shards" :  "5" ,
             "number_of_replicas" :  "1" ,
             "uuid" :  "aXyFMRzKQ0m_Ex8N2yJeSA" ,
             "version" : {
                "created" :  "2020099"
             }
          }
       },
       "warmers" : {}
    }
}

3. mapping:

?
1
2
3
4
5
6
7
curl -XPOST  'http://localhost:9200/data/_mapping/record'  -d '{
     "properties" : {
         "id" : {  "type" :  "string" ,  "index" :  "not_analyzed"  },
         "number" : {  "type" :  "string" ,  "analyzer" :  "comma" ,  "search_analyzer" :  "comma"  }
     }
}
'

return:

?
1
{ "acknowledged" : true }

4. view index:

?
1
curl -XGET  'http://localhost:9200/data'

return:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
{
    "data" : {
       "aliases" : {},
       "mappings" : {
          "record" : {
             "properties" : {
                "id" : {
                   "type" :  "string" ,
                   "index" :  "not_analyzed"
                },
                "number" : {
                   "type" :  "string" ,
                   "analyzer" :  "comma"
                }
             }
          }
       },
       "settings" : {
          "index" : {
             "creation_date" :  "1456972030705" ,
             "analysis" : {
                "analyzer" : {
                   "comma" : {
                      "pattern" :  "," ,
                      "type" :  "pattern"
                   }
                }
             },
             "number_of_shards" :  "5" ,
             "number_of_replicas" :  "1" ,
             "uuid" :  "A9Z76U9DR0OBqn29smtq8w" ,
             "version" : {
                "created" :  "2020099"
             }
          }
       },
       "warmers" : {}
    }
}

5. verify analyze:

?
1
curl -GET  'http://127.0.0.1:9200/data/_analyze?analyzer=comma&text=2,3,4,5,100-100'

return:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
{
    "tokens" : [
       {
          "token" :  "2" ,
          "start_offset" : 0,
          "end_offset" : 1,
          "type" :  "word" ,
          "position" : 0
       },
       {
          "token" :  "3" ,
          "start_offset" : 2,
          "end_offset" : 3,
          "type" :  "word" ,
          "position" : 101
       },
       {
          "token" :  "4" ,
          "start_offset" : 4,
          "end_offset" : 5,
          "type" :  "word" ,
          "position" : 202
       },
       {
          "token" :  "5" ,
          "start_offset" : 6,
          "end_offset" : 7,
          "type" :  "word" ,
          "position" : 303
       },
       {
          "token" :  "100-100" ,
          "start_offset" : 8,
          "end_offset" : 15,
          "type" :  "word" ,
          "position" : 404
       }
    ]
}

6. post data:

?
1
2
3
4
5
curl -PUT  'http://localhost:9200/data/record'  -d '{
     "id"  :  "001CV" ,
     "number"  :  "2,3,4,5,100-100,1010"
}
'

return:

?
1
2
3
4
5
6
7
8
9
10
11
12
{
    "_index" :  "data" ,
    "_type" :  "record" ,
    "_id" :  "AVM3kt-GiEDWd2i_MREb" ,
    "_version" : 1,
    "_shards" : {
       "total" : 2,
       "successful" : 1,
       "failed" : 0
    },
    "created" :  true
}

7. post data:

?
1
2
3
4
5
curl -PUT  'http://localhost:9200/data/record'  -d '{
     "id"  :  "002CV" ,
     "number"  :  "9999,8888"
}
'

return:

?
1
2
3
4
5
6
7
8
9
10
11
12
{
    "_index" :  "data" ,
    "_type" :  "record" ,
    "_id" :  "AVM3k7vIiEDWd2i_MREc" ,
    "_version" : 1,
    "_shards" : {
       "total" : 2,
       "successful" : 1,
       "failed" : 0
    },
    "created" :  true
}

8. post data:

?
1
2
3
4
5
curl -PUT  'http://localhost:9200/data/record'  -d '{
     "id"  :  "002CV" ,
     "number"  :  "2,8888"
}
'

return:

?
1
2
3
4
5
6
7
8
9
10
11
12
{
    "_index" :  "data" ,
    "_type" :  "record" ,
    "_id" :  "AVM3mCGMiEDWd2i_MREh" ,
    "_version" : 1,
    "_shards" : {
       "total" : 2,
       "successful" : 1,
       "failed" : 0
    },
    "created" :  true
}

9. search data:

?
1
curl -XGET  'http://localhost:9200/data/record/_search?q=number:9999'

return:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
{
    "took" : 41,
    "timed_out" :  false ,
    "_shards" : {
       "total" : 5,
       "successful" : 5,
       "failed" : 0
    },
    "hits" : {
       "total" : 1,
       "max_score" : 0.19178301,
       "hits" : [
          {
             "_index" :  "data" ,
             "_type" :  "record" ,
             "_id" :  "AVM3k7vIiEDWd2i_MREc" ,
             "_score" : 0.19178301,
             "_source" : {
                "id" :  "002CV" ,
                "number" :  "9999,8888"
             }
          }
       ]
    }
}

10. search data:

?
1
curl -XGET  'http://localhost:9200/data/record/_search?q=number:2'

return:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
{
    "took" : 2,
    "timed_out" :  false ,
    "_shards" : {
       "total" : 5,
       "successful" : 5,
       "failed" : 0
    },
    "hits" : {
       "total" : 2,
       "max_score" : 0.37158427,
       "hits" : [
          {
             "_index" :  "data" ,
             "_type" :  "record" ,
             "_id" :  "AVM3mCGMiEDWd2i_MREh" ,
             "_score" : 0.37158427,
             "_source" : {
                "id" :  "002CV" ,
                "number" :  "2,8888"
             }
          },
          {
             "_index" :  "data" ,
             "_type" :  "record" ,
             "_id" :  "AVM3kt-GiEDWd2i_MREb" ,
             "_score" : 0.22295055,
             "_source" : {
                "id" :  "001CV" ,
                "number" :  "2,3,4,5,100-100,1010"
             }
          }
       ]
    }
}

11. search data:

?
1
curl -XGET  'http://localhost:9200/data/record/_search?q=number:8888,100-100'

return:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
{
    "took" : 3,
    "timed_out" :  false ,
    "_shards" : {
       "total" : 5,
       "successful" : 5,
       "failed" : 0
    },
    "hits" : {
       "total" : 3,
       "max_score" : 0.22097087,
       "hits" : [
          {
             "_index" :  "data" ,
             "_type" :  "record" ,
             "_id" :  "AVM3mCGMiEDWd2i_MREh" ,
             "_score" : 0.22097087,
             "_source" : {
                "id" :  "002CV" ,
                "number" :  "2,8888"
             }
          },
          {
             "_index" :  "data" ,
             "_type" :  "record" ,
             "_id" :  "AVM3kt-GiEDWd2i_MREb" ,
             "_score" : 0.13258252,
             "_source" : {
                "id" :  "001CV" ,
                "number" :  "2,3,4,5,100-100,1010"
             }
          },
          {
             "_index" :  "data" ,
             "_type" :  "record" ,
             "_id" :  "AVM3k7vIiEDWd2i_MREc" ,
             "_score" : 0.028130025,
             "_source" : {
                "id" :  "002CV" ,
                "number" :  "9999,8888"
             }
          }
       ]
    }
}

12. search data:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
curl -XPOST  'http://localhost:9200/data/record/_search'  -d '{
   "query" : {
     "bool" : {
       "must" : [
         {
           "term" : {
             "number" :  "2"
           }
         }
       ],
       "must_not" : [
         {
           "term" : {
             "number" :  "8888"
           }
         }
       ]
     }
   }
}'

return:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
{
    "took" : 3,
    "timed_out" :  false ,
    "_shards" : {
       "total" : 5,
       "successful" : 5,
       "failed" : 0
    },
    "hits" : {
       "total" : 1,
       "max_score" : 0.22295055,
       "hits" : [
          {
             "_index" :  "data" ,
             "_type" :  "record" ,
             "_id" :  "AVM3kt-GiEDWd2i_MREb" ,
             "_score" : 0.22295055,
             "_source" : {
                "id" :  "001CV" ,
                "number" :  "2,3,4,5,100-100,1010"
             }
          }
       ]
    }
}
NullPointerExcept
关注
专栏目录
【ES】--Elasticsearch的分词器详解
寻梦友的博客
02-12 2084
最近项目需求，针对客户提出搜索引擎业务要做到自定义个性化，如输入简体或繁体能能够互相查询、有的关键词不能被分词搜索等等。为更好解决这些问题，“分词器”的原理和使用至关重要。
es安装教程
最新发布
HJ_20210519的博客
08-02 1860
官网下载:https://www.elastic.co/cn/downloads/elasticsearch。解压：tar -zxvf elasticsearch-7.16.2-linux-x86_64.tar.gz。systemctl status es.service #查看服务当前状态。systemctl start es.service #启动服务。systemctl stop es.service #停止服务。先将es文件夹下的所有目录的所有权限迭代给esuser用户。
ES设置文档设置逗号分词（通过postman）
cxyd4399的博客
11-15 1132
【代码】ES设置文档设置逗号分词（通过postman）
es--基础--6.3--springboot--Document注解
zhou920786312的博客
07-03 606
【代码】es--基础--6.3--springboot--Document注解。
Elasticsearch使用逗号分词
weixin_30596735的博客
05-25 1123
因公司使用ES发现用MYSQL存放的字段中有一个带逗号的数据匹配不出来。在网站上找了好久，发现有一位同学写了一个带逗号的分析器，果然可以匹配出。做一下笔记，以备忘记。好记性不如烂笔头 1：新建分析器 curl -XPOST 'http://172.18.0.4:9200/demo/?pretty' -d ' { 　　"settings": 　　{ 　　　　"analys...
elasticsearch索引从ik中文分词器拓展到使用逗号“，”分词
momo_mo520的博客
04-12 3144
问题描述： 有一个ES实体为，文章标签tags，以字符串形式储存，如“上海,民宿,迪士尼,happy”为一条数据。在实现文章标签搜索排序（使用elasticsearch2.4.4+springbootdata+jpa）时，遇到问题，显示的标签 汉字部分被分词成了一个字一个字，英文还是一个单词。 因此寻找方法改变分词方法，有两种办法，第一种，使用中文分词器插件，...
elasticsearch教程--中文分词器作用和使用
热门推荐
java_龙
11-05 1万+
目录 概述 环境准备 认识中文分词器 常用的中文分词器 IK Analyzer hanlp中文分词器 彩蛋 概述         上一篇博文记录了elasticsearch插件安装和管理, 在地大物博的祖国使用es,不得不考虑中文分词器,es内置的分词器对中文分词的支持用惨不忍睹来形容不为过,看这篇博文之前,建议先看一下博文elasticsearch...
es---elasticsearch，kibana，分词器，finalshell的使用
qq_60555957的博客
10-24 1023
es---elasticsearch
es 配置同义词 + 定义 tokenizer 使用逗号分词
weixin_39999637的博客
04-23 1710
es 配置同义词 + 定义 tokenizer 使用逗号分词 { "settings": { "index": { "number_of_shards": "5", "number_of_replicas": "1", "analysis": { "analyzer": { "ik_syno": { "tokenizer": "ik_sma...
ES5.6创建自定义逗号分词器并使用
Derick的博客
01-13 1406
创建自定义分词器： url = "http://ip:port/index/_settings" res = requests.put(url, json={ "settings": { "analysis": { "analyzer": { "comma": { "type": "pattern", "pattern":"," ...
elasticsearch分词时按照逗号分词
u014591788的博客
08-22 9993
在做项目的时候 对类似于 这种标签进行分词处理的时候 建筑,摄影,机械,IT,旅游 ik分词器会自动将IT过滤，导致查询IT的时候无法查询相关文档 如何解决，重新定义分词规则，可以按照逗号 “，”来分词 将词分为 建筑 摄影 机械 IT 旅游 效果如下 GET shenbioffice_1/doc/174629/_termve...
ES自定义分词器
Anglry的博客
11-15 1461
ES自定义分词器 es的分词器往往包括3个低级构建块包： character filters - 字符过滤器，可以添加、删除或更改字符来转换流，一个分析器可有多个字符过滤器； token filters - token过滤器，接受token流，并可以添加、删除或修改token，不允许更改每个token的位置或字符偏移量，一个分析器可有多个token过滤器，并按顺序应用。 tokenizer...
【HBZ分享】ES分词器的拆分规则 及 算法
a645293829的博客
11-01 880
ES分词器的拆分规则 及 算法
mysql和es中，对逗号隔开的字符串的检索
ytxw12的专栏
12-12 3997
前言 最近工作中，遇到的一个实际的问题：数据库某列字段值为1,2,3这种，如何对其进行搜索。 MYSQL 不使用mybatis等中间件 select * from table_name where FIND_IN_SET(2, value) 使用mybatis ​ 1、使用 Example写法 //将list的每个值拼接成“%xxx%”形式 if (Objects.nonNull(values) { req.setValues(req.getValues().st...
ES整理
lucifer32149899的博客
05-29 204
,field: 指定某个字段作为附件内容字段（需要用base64进行加密）target_field: 指定某个字段作为附件信息字段（作者、时间、类型）indexed_chars: 指定解析文件管道流的最大大小，默认是100000。如果不想限制设置为-1（注意设置为-1的时候如果上传文件过大会而内存不够会导致文件上传不完全）indexed_chars_field: 指定某个字段能覆盖index_chars字段属性，这样子可以通过文件的大小去指定indexed_chars值。
ES-IK分词器的概念和基本使用
jc15274630894的博客
04-21 4937
ES-IK分词器的概念和基本使用
Elasticsearch 分词器的使用与IK分词器安装
scdncby的博客
08-13 767
Elasticsearch 分词器安装与使用 ES内置分词器 standard：默认分词器，简单会被拆分，英文统一转换为小写 simlle：按照非字母分词，英文统一转换为小写 whitespace：按照空格分词 stop：去除无意义的单词，比如：the、is、a、an keyword：不做分词，把文本的整体当作一个单独的关键词 测试分词结果 指定分词器测试结果 GET http://192.168.213.154:9200/_analyze POST http://192.168
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值