Elasticsearch实战（九）---CopyTo字段组合 实现逻辑多字段搜索

已于 2022-07-02 21:20:25 修改
阅读量1.9k 收藏 7
点赞数 1
分类专栏： ElasticSearch 文章标签： elasticsearch copy_to实现字段组合 多字段搜索 copy_to字段组合 es多字段搜索
于 2022-07-02 21:18:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010134642/article/details/125472291
版权

Elasticsearch实战- CopyTo字段组合实现逻辑多字段搜索

文章目录

1.如何实现多字段搜索

场景：

  • 淘宝中搜 手机，点击搜索，那么一个商品有很多属性，比如 商品名称，商品卖点，商品描述，商品评价等等等，那么我如果搜索 手机关键字，并且我一个搜索条件都没限定，那 底层到底是在那几个字段内进行匹配 ？
  • 如果仅用单一的字段比如名称字段来匹配，很有可能不是用户要的结果，如果使用全字段匹配？这样明显也不合适，比如商品价格，商品库存，商品店铺等，不包含手机信息，那么如何实现？

解决办法：

  • copy_to， 就是将多个字段，复制到一个字段中，来实现多字段组合查询，用于解决搜索条件默认字段信息
  • copy_to需要在创建mapping结构的时候就指定 需要将当前字段 copy_to 到哪个字段上，默认搜索条件生效的字段就是你要复制到的字段
1.1 定制mapping结构

我现在需要一个基本信息字段 info包括了 name， mobile， deptName及adress 四个字段作为条件默认搜索字段
先创建索引

#创建索引
put /testcopy

然后构建mapping索引结构, 可以看到 name， mobile， deptName及adress 四个字段后面，追加了copy_to :info 属性

PUT /testcopy/_mapping
{
        "properties" : {
        "address" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          },
          "copy_to":"info"
        },
        "age" : {
          "type" : "long"
        },
        "area" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "city" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "content" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "deptName" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          },
          "copy_to":"info"
        },
        "empId" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "mobile" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          },
         "copy_to":"info"
        },
        "name" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          },
           "copy_to":"info"
        },
        "provice" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "salary" : {
          "type" : "long"
        },
        "sex" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        }
      }
  
}

查询下 mapping结构生效了没

get /testcopy/_mapping
1.2 准备数据
POST /testcopy/_bulk
{"index":{"_id": 1}}
{"empId" : "111","name" : "员工1","age" : 20,"sex" : "男","mobile" : "19000001111","salary":1333,"deptName" : "技术部","provice" : "湖北省","city":"武汉","area":"光谷大道","address":"湖北省武汉市洪山区光谷大厦","content" : "i like to write best elasticsearch article"}
{"index":{"_id": 2}}
{"empId" : "222","name" : "员工2","age" : 25,"sex" : "男","mobile" : "19000002222","salary":15963,"deptName" : "销售部","provice" : "湖北省","city":"武汉","area":"江汉区","address" : "湖北省武汉市江汉路","content" : "i think java is the best programming language"}
{"index":{"_id": 3}}
{ "empId" : "333","name" : "员工3","age" : 30,"sex" : "男","mobile" : "19000003333","salary":20000,"deptName" : "技术部","provice" : "湖北省","city":"武汉","area":"经济技术开发区","address" : "湖北省武汉市经济开发区","content" : "i am only an elasticsearch beginner"}
{"index":{"_id": 4}}
{"empId" : "444","name" : "员工4","age" : 20,"sex" : "女","mobile" : "19000004444","salary":5600,"deptName" : "销售部","provice" : "湖北省","city":"武汉","area":"沌口开发区","address" : "湖北省武汉市沌口开发区","content" : "elasticsearch and hadoop are all very good solution, i am a beginner"}
{"index":{"_id": 5}}
{ "empId" : "555","name" : "员工5","age" : 20,"sex" : "男","mobile" : "19000005555","salary":9665,"deptName" : "测试部","provice" : "湖北省","city":"高新开发区","area":"武汉","address" : "湖北省武汉市东湖隧道","content" : "spark is best big data solution based on scala ,an programming language similar to java"}
{"index":{"_id": 6}}
{"empId" : "666","name" : "员工6","age" : 30,"sex" : "女","mobile" : "19000006666","salary":30000,"deptName" : "技术部","provice" : "武汉市","city":"湖北省","area":"江汉区","address" : "湖北省武汉市江汉路","content" : "i like java developer"}
{"index":{"_id": 7}}
{"empId" : "777","name" : "员工7","age" : 60,"sex" : "女","mobile" : "19000007777","salary":52130,"deptName" : "测试部","provice" : "湖北省","city":"黄冈市","area":"边城区","address" : "湖北省黄冈市边城区","content" : "i like elasticsearch developer"}
{"index":{"_id": 8}}
{"empId" : "888","name" : "员工8","age" : 19,"sex" : "女","mobile" : "19000008888","salary":60000,"deptName" : "技术部","provice" : "湖北省","city":"武汉","area":"汉阳区","address" : "湖北省武汉市江汉大学","content" : "i like spark language"}
{"index":{"_id": 9}}
{"empId" : "999","name" : "员工9","age" : 40,"sex" : "男","mobile" : "19000009999","salary":23000,"deptName" : "销售部","provice" : "河南省","city":"郑州市","area":"二七区","address" : "河南省郑州市郑州大学","content" : "i like java developer"}
{"index":{"_id": 10}}
{"empId" : "101010","name" : "张湖北","age" : 35,"sex" : "男","mobile" : "19000001010","salary":18000,"deptName" : "测试部","provice" : "湖北省","city":"武汉","area":"高新开发区","address" : "湖北省武汉市东湖高新","content" : "i like java developer i also like  elasticsearch"}
{"index":{"_id": 11}}
{"empId" : "111111","name" : "王河南","age" : 61,"sex" : "男","mobile" : "19000001011","salary":10000,"deptName" : "销售部",,"provice" : "河南省","city":"开封市","area":"金明区","address" : "河南省开封市河南大学","content" : "i am not like  java "}
{"index":{"_id": 12}}
{"empId" : "121212","name" : "张大学","age" : 26,"sex" : "女","mobile" : "19000001012","salary":1321,"deptName" : "测试部",,"provice" : "河南省","city":"开封市","area":"金明区","address" : "河南省开封市河南大学","content" : "i am java developer  thing java is good"}
{"index":{"_id": 13}}
{"empId" : "131313","name" : "李江汉","age" : 36,"sex" : "男","mobile" : "19000001013","salary":1125,"deptName" : "销售部","provice" : "河南省","city":"郑州市","area":"二七区","address" : "河南省郑州市二七区","content" : "i like java and java is very best i like it do you like java "}
{"index":{"_id": 14}}
{"empId" : "141414","name" : "王技术","age" : 45,"sex" : "女","mobile" : "19000001014","salary":6222,"deptName" : "测试部",,"provice" : "河南省","city":"郑州市","area":"金水区","address" : "河南省郑州市金水区","content" : "i like c++"}
{"index":{"_id": 15}}
{"empId" : "151515","name" : "张测试","age" : 18,"sex" : "男","mobile" : "19000001015","salary":20000,"deptName" : "技术部",,"provice" : "河南省","city":"郑州市","area":"高新开发区","address" : "河南省郑州高新开发区","content" : "i think spark is good"}
1.3 copy_to字段查询

现在我们先搜索一下 插入的数据是否正确及 info字段是否存在？

#查询所有数据
get /testcopy/_search

在这里插入图片描述

查询出来的数据没有info字段， 如果用info去搜索呢？

get /testcopy/_search
{
  "query":{
    "match_phrase": {
      "info": "员工"
    }
  }
}

用info字段去 短语匹配 员工， info信息的 “员工” 关键字搜索结果， 可以搜出来名字中包含 “员工” 的
在这里插入图片描述

用info字段去 短语匹配 员工， info信息的 “湖北” 关键字搜索结果， 可以搜出来地址中包含 “湖北” 的
info信息的 “湖北” 关键字搜索
在这里插入图片描述

用info字段去 短语匹配 员工， info信息的 “19000004444” 关键字搜索结果， 可以搜出来mobile手机中包含 “19000004444” 的
在这里插入图片描述

至此 我们已经能够 利用 CopyTo字段组合 来实现逻辑多字段搜索，可以看到 存储结构上并没有 info字段，但是我们可以用copy_to把多个字段关联起来实现多字段搜索

jzjie
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Elasticsearch】使用Elasticsearch中的copy_to来提高搜索效率
九师兄
07-20 1803
1.概述 转载：使用Elasticsearch中的copy_to来提高搜索效率 在今天的这个教程中，我们来着重讲解一下如何使用Elasticsearch中的copy来提高搜索的效率。比如在我们的搜索中，经常我们会遇到如下的文档： { "user" : "双榆树-张三", "message" : "今儿天气不错啊，出去转转去", "uid" : 2, "age" : 20, "city" : "北京", "pro
elasticsearch-analysis-ik-8.1.3.zip
04-11
**Elasticsearch Analysis IK全文搜索分词器** Elasticsearch-analysis-ik是针对Elasticsearch设计的一款强大的中文分词插件。它旨在提供一个灵活、高效且可扩展的中文分词解决方案，使得在Elasticsearch中进行全文...
ES优化实战-通过开启copy_to提升一倍的检索性能
Angus
09-25 1691
在对text字段进行搜索的时候，假如你需要对多个text类型的字段搜索，例如 文章的标题和文章的内容，这两个字段。 在这种情况下，是可以开启copy_to来提速的。我测试的提速效果在百分之五十左右。 它是将这两个字段copy到一个字段上，然后进行分词处理。之所以会快，就是因为如果你多个字段，要做多次的查询，如果合并到一个字段上，只需要做一次查询。 但是请注意，它会额外花费比较多的磁盘资源！
ES系列之原来copy_to用好了这么香
lucasma的博客
09-04 7780
写在前面 Elasticsearch(以下简称ES)有个copy_to的功能，之前在一个项目中用到，感觉像是发现了一个神器。这个东西并不是像有些人说的是个语法糖。它用好了不但能提高检索的效率，还可以简化查询语句。 基本用法介绍 直接上示例。 先看看mapping， PUT my_index { "mappings": { "properties": { "first_name": { "type": "text", "copy_to": "full_n
elasticsearch参数copy_to
热门推荐
lpp_dd的博客
01-03 1万+
在使用elasticsearch时遇见了这样的需求：es聚合指定字段时聚合的结果里面只显示聚合的字段。但是在做报表时，我们发现一个问题：如果我们对员工进行聚合，但是我们还希望查看当前员工所在的班组，部门等信息。这时如果查询es两次，对于效率来说是不好的。所以我们在这里使用一个es的字段特性：copy_to 使用的步骤： 1、创建mapping PUT my_index {   "mappi
elastic中copy_to的作用
m0_59381981的博客
06-30 822
通过使用`copy_to`，你可以创建一个新的目标字段，将多个字段的值复制到该目标字段中。要使用`copy_to`功能，你需要在创建或更新映射(mapping)时定义字段的`copy_to`属性，指定要将值复制到的目标字段。在Elasticsearch中，`copy_to`是一个字段级别的设置，用于将一个或多个字段的值复制到另一个目标字段中，以便于搜索和分析。在上述示例中，`title`、`content`和`author`字段的值都将被复制到目标字段`combined`中。
ES使用copy_to小技巧
sang521jia的博客
03-28 706
给properties.title加上了copy_to参数，值是skus_title，Elasticsearch 就会把这个字段值复制到 skus_title 字段里，这样就可以在 multi_match 的 fields 里通过 skus_title 来匹配。此时我们想查询在skus中存在或者properties中存在的某个匹配的值，skus和properties都是nested嵌套对象类型的，想要的匹配条件并非在一个nested中，如果使用查询。现在使用上面的查询语句就可以查出正确的值了。
elasticsearch-analysis-ik-8.11.0
11-27
Elasticsearch Analysis IK 8.11.0 是一个专为Elasticsearch 8.11.0版本设计的中文分词插件，其主要目标是提供对中文文本的高效、精确的分词能力，以提升搜索引擎的索引质量和查询效果。这个插件分为粗粒度和细粒度...
SAP ES 公有云开发-自定义字段增强
11-10
在SAP ES（Enterprise Services）公有云开发中，自定义字段增强是一项关键功能，它允许开发者根据业务需求扩展标准应用程序的功能。以下是对这个主题的详细解析： 首先，要追加自定义字段到标准表单，你需要明确...
elasticsearch查询模版-模糊查询，多字段查询，相似度计算等
04-29
Elasticsearch（简称ES）是一个基于Apache Lucene构建的开源、分布式、RESTful风格的搜索和数据分析引擎。它允许你以前所未有的速度和规模，即时地存储、搜索和分析大量数据。Elasticsearch通常用于全文搜索、结构化...
elasticsearch-analysis-dynamic-synonym-7.6.2
08-17
Elasticsearch（ES）作为一款强大的全文搜索引擎，同样支持对同义词的处理。`elasticsearch-analysis-dynamic-synonym-7.6.2`是一个专为ES7.6.2版本设计的动态同义词插件，旨在实现同义词的动态加载和管理，使得同义...
Elasticsearch的copy_to探秘
布道
07-11 3854
es从6.7开始提供了copy来提高搜索的效率。它源于_all的， 假如我们要经常对这三个字段进行搜索，那么一种方法我们可以在must子句中使用should子句运行bool查询。这种方法写起来比较麻烦。有没有一种更好的方法呢？ copy_to可以将它们合成一个字段，这样可以方便我们的搜索。 { "city" : "北京", "province" : "北京", "country" : "中国", "location" : { ...
es小记(copy_to)
qq_38845271的博客
09-17 675
设置索引的时候，我们给某些字段的store属性设置为true，在查询时，请求中可以携带stored_fields参数，指定某些字段，最后，这些字段会被包含在返回的结果中。如果请求中携带的字段没有被储存，将会被忽略。1: 3个主分片,各自有一个副本,总分片数为 3*2=6;refresh_interval为刷新频率;2: copy_to字段查询时不会返回。2.1:如下查询可返回。
人大金仓数据库KingbaseES COPY命令介绍之COPY TO
arthemis_14的博客
01-17 1201
在KingbaseES数据库中，支持移动表和文件系统数据的COPY命令。COPY命令分为COPY TO和COPY FROM命令。COPY TO用于移动一个表中的数据到文件中。COPY FROM支持从文件中复制数据到表中。COPY 命令支持设置输入输出文件选项，支持选项如下：可选选项说明FORMAT输出文件格式PROGRAM要执行的命令，命令输入输出将被捕获FREEZE复制完成行冻结的数据DELIMITER列分隔符TERMINATOR换行字符NULL空字符串HEADER。
【elasticsearch】(2) copy_to
Mrerlou的博客
07-02 580
前言： copy_to参数允许您将多个字段的值复制到一个组字段中，然后可以将其作为单个字段进行查询。 案例： 例如，可以将first_name和last_name字段复制到full_name字段中，如下所示： PUT my-index-000001 { "mappings": { "properties": { "first_name": { "type": "text", "copy_to": "full_name" },
Elasticsearch 使用copy_to组合字段进行查询
qq_28834355的博客
10-29 1959
copy_to 介绍 copy_to 参数允许将多个字段的值复制到另一个字段中，然后对该字段进行查询。例如，first_name和last_name字段可以复制到full_name字段，如下所示： PUT /my_index { "mappings": { "properties": { "first_name":{ "type": "text", "copy_to": "full_name" }, "last_name":{
spring-data-elasticsearch (elasticsearch 6.8.0) @Document 和 @Field 注解详解
nandao158的博客
08-02 8096
首先在用法上的区别，@Document 一般用在类上，引起其他类。而@Field 注解一般用在参数上，比如定义一个es操作的VO： 1、创建 ArticleEsDto import java.io.Serializable; import java.util.Date; import lombok.Data; import lombok.ToString; import org.springframework.data.annotation.Id; import org.springframewor.
2.java+elasticsearch8.2 copy_to实现
qq_36399546的博客
10-08 655
elasticsearch修改mapping，设置copy_to，多字段查询效率提升，需要修改索引mapping，而es官方说明不支持修改mapping。所以考虑新建索引，设置自定义mapping，再把数据转移到新的索引中。上一篇es中涉及到了多字段的模糊匹配，但是效率很低，查询速度很慢。故使用es的copy_to。我使用的是Elasticsearch-head进行操作。也可以使用kibana或其他。查看当前索引的mapping，复制出来修改并添加copy_to到字段search。迁移完成后java中可以直
filebeat把日志文件上传到Es中配置（ES8版本）
最新发布
zhaojiyuan1024的博客
07-21 62
ES8版本默认生成的是数据流，不是默认的索引，这么配置生成的数据流名称就是idx_springboot，不是默认的filebeat了，如查索引发现生成长索引名是.ds-idx_springboot-2024.07.21-000001这种格式的，但我们配置视图时，选idx_springboot就行了。为保护我的个人隐私，有的生命周期名、索引名、模板名我做过修改，如发现有问题，可评论，或与我联系。
elasticsearch-head如何对于elasticsearch索引进行字段的新增
05-21
Elasticsearch-head是一个基于Web的开源Elasticsearch集群管理工具，它提供了一个可视化的界面来管理和监控Elasticsearch集群。在Elasticsearch-head中，我们可以使用Mapping API来新增字段。具体步骤如下： 1. 打开Elasticsearch-head，在索引页面中找到要新增字段的索引。 2. 点击索引名称，进入该索引的详情页面。 3. 在详情页面的“Mapping”标签页中，可以看到该索引的Mapping信息。 4. 点击“Edit”按钮，进入编辑模式。 5. 在编辑模式中，可以对字段进行修改、删除、新增等操作。 6. 点击“Save”按钮，保存修改后的Mapping信息。 通过上述步骤，就可以在Elasticsearch-head中对索引进行字段的新增操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值