ElasticSearch5.x实践_day05_03_Mapping_Meta-Fields

最新推荐文章于 2024-10-09 15:55:17 发布
最新推荐文章于 2024-10-09 15:55:17 发布
阅读量149 收藏
点赞数
文章标签： 大数据 java python
原文链接：https://my.oschina.net/LucasZhu/blog/1491778
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

二、Meta-Fields(元数据)

2.1 _all

_all字段是把其它字段拼接在一起的超级字段，所有的字段用空格分开，_all字段会被解析和索引，但是不存储。当你只想返回包含某个关键字的文档但是不明确地搜某个字段的时候就需要使用_all字段。
例子：

GET http://192.168.20.46:9200/my_index/blog/1 
{
  "title":    "Master Java",
  "content":     "learn java",
  "author": "Tom"
}

_all字段包含:[ “Master”, “Java”, “learn”, “Tom” ]  搜索：

POST http://192.168.20.46:9200/my_index/_search?pretty
{
  "query": {
    "match": {
      "_all": "Java"
    }
  }
}

使用copy_to自定义_all字段：

PUT http://192.168.20.46:9200/my_index
{
  "mappings": {
    "mytype": {
      "properties": {
        "title": {
          "type":    "text",
          "copy_to": "full_content" 
        },
        "content": {
          "type":    "text",
          "copy_to": "full_content" 
        },
        "full_content": {
          "type":    "text"
        }
      }
    }
  }
}
POST http://192.168.20.46:9200/my_index/mytype/1
{
  "title": "Master Java",
  "content": "learn Java"
}
POST http://192.168.20.46:9200/my_index/_search?pretty
{
  "query": {
    "match": {
      "full_content": "java"
    }
  }
}

2.2 _field_names

_field_names字段用来存储文档中的所有非空字段的名字，这个字段常用于exists查询。例子如下:

terms查询

POST http://192.168.20.46:9200/my_index/my_type/1
{
  "title": "This is a document"
}
POST http://192.168.20.46:9200/my_index/my_type/2
{
  "title": "This is another document",
  "body": "This document has a body"
}

POST http://192.168.20.46:9200/my_index/_search
{
  "query": {
    "terms": {
      "_field_names": [ "body" ] 
    }
  }
}

结果会返回第二条文档，因为第一条文档没有title字段。
同样，可以使用exists查询：

POST http://192.168.20.46:9200/my_index/_search
{
    "query": {
        "exists" : { "field" : "body" }
    }
}

2.3 _id

每条被索引的文档都有一个_type和_id字段，_id可以用于term查询、temrs查询、match查询、query_string查询、simple_query_string查询，但是不能用于聚合、脚本和排序。例子如下：

POST http://192.168.20.46:9200/my_index/my_type/1
{
  "text": "Document with ID 1"
}

POST http://192.168.20.46:9200/my_index/my_type/2
{
  "text": "Document with ID 2"
}

POST http://192.168.20.46:9200/my_index/_search
{
  "query": {
    "terms": {
      "_id": [ "1", "2" ] 
    }
  }
}

2.4 _index

多索引查询时，有时候只需要在特地索引名上进行查询，_index字段提供了便利，也就是说可以对索引名进行term查询、terms查询、聚合分析、使用脚本和排序。

_index是一个虚拟字段，不会真的加到Lucene索引中，对_index进行term、terms查询(也包括match、query_string、simple_query_string)，但是不支持prefix、wildcard、regexp和fuzzy查询。

举例，2个索引2条文档

http://192.168.20.46:9200/index_1/my_type/1
{
  "text": "Document in index 1"
}

http://192.168.20.46:9200/index_2/my_type/2
{
  "text": "Document in index 2"
}

POST http://192.168.20.46:9200/index_1,index_2/_search
{
  "query": {
    "terms": {
      "_index": ["index_1", "index_2"] 
    }
  },
  "aggs": {
    "indices": {
      "terms": {
        "field": "_index", 
        "size": 10
      }
    }
  },
  "sort": [
    {
      "_index": { 
        "order": "asc"
      }
    }
  ],
  "script_fields": {
    "index_name": {
      "script": {
        "lang": "painless",
        "inline": "doc['_index']" 
      }
    }
  }
}

{
    "took": 1210,
    "timed_out": false,
    "_shards": {
        "total": 10,
        "successful": 10,
        "failed": 0
    },
    "hits": {
        "total": 3,
        "max_score": null,
        "hits": [
            {
                "_index": "index_1",
                "_type": "my_type",
                "_id": "2",
                "_score": null,
                "fields": {
                    "index_name": [
                        "index_1"
                    ]
                },
                "sort": [
                    "index_1"
                ]
            },
            {
                "_index": "index_1",
                "_type": "my_type",
                "_id": "1",
                "_score": null,
                "fields": {
                    "index_name": [
                        "index_1"
                    ]
                },
                "sort": [
                    "index_1"
                ]
            },
            {
                "_index": "index_2",
                "_type": "my_type",
                "_id": "2",
                "_score": null,
                "fields": {
                    "index_name": [
                        "index_2"
                    ]
                },
                "sort": [
                    "index_2"
                ]
            }
        ]
    },
    "aggregations": {
        "indices": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
                {
                    "key": "index_1",
                    "doc_count": 2
                },
                {
                    "key": "index_2",
                    "doc_count": 1
                }
            ]
        }
    }
}

 

2.5 _parent

_parent用于指定同一索引中文档的父子关系。下面例子中现在mapping中指定文档的父子关系，然后索引父文档，索引子文档时指定父id，最后根据子文档查询父文档。

POST http://192.168.20.46:9200/my_index
{
	"mappings":{
		"my_parent":{},
		"my_child":{
			"_parent":{
				"type":{
					"type":"my_parent"
				}
			}
		}
	}
}
POST http://192.168.20.46:9200/my_index/my_parent/1
{
  "text": "This is a parent document"
}

POST http://192.168.20.46:9200/my_index/my_child/2?parent=1 
{
  "text": "This is a child document"
}

POST http://192.168.20.46:9200/my_index/my_child/3?parent=1&refresh=true 
{
  "text": "This is another child document"
}
POST http://192.168.20.46:9200/my_index/my_parent/_search
{
  "query": {
    "has_child": { 
      "type": "my_child",
      "query": {
        "match": {
          "text": "child document"
        }
      }
    }
  }
}

 

2.6 _routing

路由参数，ELasticsearch通过以下公式计算文档应该分到哪个分片上：

shard_num = hash(_routing) % num_primary_shards

默认的_routing值是文档的_id或者_parent，通过_routing参数可以设置自定义路由。例如，想把user1发布的博客存储到同一个分片上，索引时指定routing参数，查询时在指定路由上查询：

POST http://192.168.20.46:9200/my_index/my_type/1?routing=user1&refresh=true
{
  "title": "This is a document"
}
GET http://192.168.20.46:9200/my_index/my_type/1?routing=user1
==>
{
    "_index": "my_index",
    "_type": "my_type",
    "_id": "1",
    "_version": 2,
    "_routing": "user1",
    "found": true,
    "_source": {
        "title": "This is a document"
    }
}

POST http://192.168.20.46:9200/my_index/_search
{
  "query": {
    "terms": {
      "_routing": [ "user1" ] 
    }
  }
}==>
{
    "took": 33,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 0.2876821,
        "hits": [
            {
                "_index": "my_index",
                "_type": "my_type",
                "_id": "1",
                "_score": 0.2876821,
                "_routing": "user1",
                "_source": {
                    "title": "This is a document"
                }
            }
        ]
    }
}
POST http://192.168.20.46:9200/my_index/_search?routing=user1,user2 
{
  "query": {
    "match": {
      "title": "document"
    }
  }
}

在Mapping中指定routing为必须的：

PUT http://192.168.20.46:9200/my_index2
{
  "mappings": {
    "my_type": {
      "_routing": {
        "required": true 
      }
    }
  }
}
POST http://192.168.20.46:9200/my_index2/my_type/1 
{
  "text": "No routing value provided  routing_missing_exception"
}

2.7 _source

存储的文档的原始值。默认_source字段是开启的，也可以关闭：

POST http://192.168.20.46:9200/tweets
{
  "mappings": {
    "tweet": {
      "_source": {
        "enabled": false
      }
    }
  }
}

但是一般情况下不要关闭，除法你不想做一些操作：

  • 使用update、update_by_query、reindex
  • 使用高亮
  • 数据备份、改变mapping、升级索引
  • 通过原始字段debug查询或者聚合

2.8 _type

每条被索引的文档都有一个_type和_id字段，可以根据_type进行查询、聚合、脚本和排序。例子如下：

POST http://192.168.20.46:9200/my_index/type_1/1
{
  "text": "Document with type 1"
}
POST http://192.168.20.46:9200/my_index/type_2/2?refresh=true
{
  "text": "Document with type 2"
}

POST http://192.168.20.46:9200/my_index/_search
{
  "query": {
    "terms": {
      "_type": [ "type_1", "type_2" ] 
    }
  },
  "aggs": {
    "types": {
      "terms": {
        "field": "_type", 
        "size": 10
      }
    }
  },
  "sort": [
    {
      "_type": { 
        "order": "desc"
      }
    }
  ],
  "script_fields": {
    "type": {
      "script": {
        "lang": "painless",
        "inline": "doc['_type']" 
      }
    }
  }
}

2.9 _uid

_uid和_type和_index的组合。和_type一样，可用于查询、聚合、脚本和排序。例子如下：

POST http://192.168.20.46:9200/my_index/my_type/1
{
  "text": "Document with ID 1"
}
POST http://192.168.20.46:9200/my_index/my_type/2?refresh=true
{
  "text": "Document with ID 2"
}

POST http://192.168.20.46:9200/my_index/_search
{
  "query": {
    "terms": {
      "_uid": [ "my_type#1", "my_type#2" ] 
    }
  },
  "aggs": {
    "UIDs": {
      "terms": {
        "field": "_uid", 
        "size": 10
      }
    }
  },
  "sort": [
    {
      "_uid": { 
        "order": "desc"
      }
    }
  ],
  "script_fields": {
    "UID": {
      "script": {
         "lang": "painless",
         "inline": "doc['_uid']" 
      }
    }
  }
}

 

 

 

转载于:https://my.oschina.net/LucasZhu/blog/1491778

weixin_33758863
关注
【es】Elasticsearch：inverted index，doc_values及source
九师兄
02-01 550
文章目录1.概述2.Inverted index3.Source4.Doc_values 1.概述 转载：https://www.cnblogs.com/sanduzxcvbnm/p/12084134.html 以后会用到的相关知识：索引中某些字段禁止搜索，排序等操作 当我们学习Elasticsearch时，经常会遇到如下的几个概念： Reverted index doc_values source？ 这个几个概念分别指的是什么？有什么用处？如何配置它们？只有我们熟练地掌握了这些概念，我们才可以正确地使
Elasticsearch之Mapping Meta-Fields
LoveSummer
02-27 610
Meta-Fields 每个文档都有与之关联的元字段，例如_index、_type和 _id 元字段。 创建映射类型时，可以自定义其中一些元字段的行为。 Identity meta-fields（文档标示元字段） _index 文档所属的索引。 多索引查询时，有时候只需要在特地索引名上进行查询，_index字段提供了便利，也就是说可以对索引名进行term查询、terms查询、聚合分析、使用脚本和排...
es - elasticsearch mapping - meta fields - 6
我的博客
04-19 137
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。 问 : _field_nams 有什么特点？ 答 ： 问 ：_field_names 如何使用？ 答 ： # _field_names PUT /field_names_test { "mappings" : { "_field_names" : { "enabled" : true } } } # 索引 POST /field_names_test/_doc/1 { "n.
ElasticSearch学习笔记六 映射元字段( Mapping Meta-Fields)
灵动的艺术的博客
10-18 2866
ElasticSearch学习笔记五 映射元字段( Mapping Meta-Fields）Meta-FieldsIdentity meta-fields（文档标示元字段）_index_uid_type_idDocument source meta-fields（愿文档元字段）_source禁用_source包含或者去除 _source 元字段里面的字段_sizeIndexing meta-fie...
关于mapping 错误的 index 总提示 Not found the mapping info of index: test
IntialJ的博客
11-10 2870
Not found the mapping info of index: test 原因: 在canal mapping 的时候 会 adpter 文件 的配置的时候 esMapping: _index: test _type: doc _id: _id upsert: true sql: “select a.id as _id,a.name,a.address from test a” comm...
Elasticsearch 7.x版本重大改变（Breaking changes in 7.x）
withlw
09-17 6369
Breaking changes in 7.0 This section discusses the changes that you need to be aware of when migrating your application to Elasticsearch 7.0. 本部分讨论将应用程序迁移到Elasticsearch 7.0时需要注意的更改。 Indices created before 7.0 Elasticsearch 7.0 can read indices created in v
Elasticsearch：inverted index，doc_values 及 source
Elastic 中国社区官方博客
10-19 8412
当我们学习Elasticsearch时，经常会遇到如下的几个概念：Reverted index， doc_values，source？ 这个几个概念分别指的是什么？有什么用处？如何配置它们？只有我们熟练地掌握了这些概念，我们才可以正确地使用它们。 Inverted index inverted index（倒排索引）是Elasticsearch和任何其他支持全文搜索的系统的核心......
django集成es(django-elasticsearch-dsl-drf)
python_web全栈
08-18 5069
django集成es， 所需环境： python3.6.8 django==3.2 djangorestframework==3.12.4 elasticsearch-dsl==7.3.0 django-elasticsearch-dsl==7.2.0 django-elasticsearch-dsl-drf==0.22
day11-elasticsearch
qq_41642640的博客
06-25 271
0.学习目标 独立安装Elasticsearch 会使用Rest的API操作索引 会使用Rest的API查询数据 会使用Rest的API聚合数据 掌握Spring Data Elasticsearch使用 1.Elasticsearch介绍和安装 用户访问我们的首页，一般都会直接搜索来寻找自己想要购买的商品。 而商品的数量非常多，而且分类繁杂。如果能正确的显示出用户想要的商品，并进行合理的过滤...
Elasticsearch
weixin_55261016的博客
06-15 739
ELK是包含但不限于Elasticsearch（简称es）、Logstash、Kibana 三个开源软件的组成的一个整体。这三个软件合成ELK。是用于数据抽取（Logstash）、搜索分析（Elasticsearch）、数据展现（Kibana）的一整套解决方案，所以也称作ELK stack。 本课程从分别对三个组件经行详细介绍，尤其是Elasticsearch，因为它是elk的核心。本课程从es底层对文档、索引、搜索、聚合、集群经行介绍，从搜索和聚合分析实例来展现es的魅力。Logstash从内部如何采集
7.4.1-elasticsearch索引元字段
红笺小字
05-29 1228
ES中索引元字段:_id、_routing、_source、_type详解
Elasticsearch之快速入门篇（个人笔记）
weixin_35099248的博客
12-04 1338
Elasticsearch概述        Elasticsearch是一个开源的分布式、RESTful 风格的搜索和数据分析引擎，它的底层是开源库Apache Lucene。   Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库——无论是开源还是私有，但它也仅仅只是一个库。为了充分发挥其功能，你需要使用 Java 并将 Lucene 直接集成到应用程序中。 更糟糕的是，您可能需要获得信息检索学位才能了解其工作原理，因为Lu
ElasticSearch5.0之后的改变
weixin_34303897的博客
11-15 163
ES5的变化 search_type=count和scan都移除了 count可以用size=0代替 GET /my_index/_search { "size": 0, "aggs": { "my_terms": { "terms": { "field": "foo" } } } } scan用下面的_doc代替,...
大数据分析入门概述
m0_47498690的博客
10-04 2588
本文旨在为有意向学习数据分析、数据开发等大数据方向的初学者提供一个学习指南，当然如果你希望通过视频课程的方式快速入门，B站UP主戴戴戴师兄的课程质量很高，并且适合初学者快速入门。本文的目的旨在为想要了解大数据但不知道该学习什么内容的初学者介绍大数据相关的各类工具以及各项技能。后续会按照本文提到的关键字逐条更新更详细的内容以及具体案例。SQL（Structured Query Language）是一种标准化的编程语言，用于管理关系数据库管理系统（RDBMS），如MySQL、PostgreSQL、Oracle、
项目管理-信息技术发展
GAVIN
10-04 712
对称加密：DES 3DES AES RC5 IEDA SM1 SM4。2）分类：PAN LAN MAN WAN 公用网 专用网。4）数据结构模型 层次模型 网状模型 关系模型。1)存储 分类：DAS FAS NAS SAN。物联网（IoT） 感知层 网络层 应用层。8） 5G 高速率 低时延 大连接。设备安全 数据安全 内容安全 行为安全。4.信息安全 保密性 完整性 可用性。3）网络协议 语法 语义 时许。5）IEEE 802 规范。6）TCP/IP 协议。4）网络标准协议 7层。
大数据行业应用实训室建设方案
whwzzc的博客
10-08 923
大数据项目实训平台确实是一个功能强大的工具，它不仅能够满足学校各种形式的实训教学活动需求，如实训周、小学期、综合课程设计等，还能提供小组分工协作的支持，为每个项目小组分配一套虚拟服务器集群，确保实训的顺利进行。唯众大数据教学云平台是一个开放式的课程平台，除了唯众的课程体系之外，老师可自主开发在线课程，支持Word、PPT、PDF、视频等常见课件直接转换成在线课程，从而让老师很方便的将专业基础课程迁移到平台上，便于构建完整的大数据、云计算、人工智能专业课程体系。此外，实训资源的不足严重阻碍了学生技能的培养。
消息队列介绍
最新发布
weixin_38703379的博客
10-09 253
优点：性能单台（12000+），性能较好，管理界面较丰富。在互联网公司也有较多应用，有多个语言的成熟客户端。优点：性能单台（10万级），模型简单，接口易用。在阿里巴巴大规模应用。优点：性能单台（6000+）成熟，已经在很多公司得到应用。各种协议支持好，有多个语言的成熟客户端。缺点：运维难度大，对ZooKeeper强依赖。缺点：内部机制很难了解，也意味很难定制和掌控。缺点：性能较弱，缺乏大规模吞吐的场景的应用，有江河日下之感。优点：天生分布式性能最好，所以常见大数据领域。缺点：文档少，支持的语言较少。
Android-x86_64 9.0-r1 ISO：Pie版镜像，支持OpenGL ES 3.x与VM集成
它支持OpenGL ES 3.x，这是一种高级图形库，使得游戏和应用能够利用硬件加速进行高性能渲染。此外，它也支持UEFI，这是一种更现代的引导加载器，提高了系统的启动速度和稳定性。 对于硬件兼容性，该镜像支持多点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值