Elasticsearch数据建模

最新推荐文章于 2022-05-22 16:23:45 发布
最新推荐文章于 2022-05-22 16:23:45 发布
阅读量389 收藏 1
点赞数
分类专栏： ElasticSearch笔记 文章标签： elasticsearch ES数据建模
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/litianxiang_kaola/article/details/104064034
版权
本文探讨Elasticsearch7.x的数据建模，包括理解数据建模概念、字段建模策略如选择合适字段类型、处理关联关系以及考虑搜索、聚合、排序和存储性能。建议关闭动态映射以优化集群性能，并根据业务需求谨慎处理null值和关联关系。
摘要由CSDN通过智能技术生成

本文基于Elasticsearch7.x

前置知识:

Elasticsearch Mapping

Elasticsearch 如何处理存在关联关系的数据?

什么是数据建模(Data Modeling)?

数据建模是创建数据模型的过程, 数据模型是对真实世界进行抽象描述的一种工具和方法, 实现对现实世界的映射.

在实际开发中, 我们的数据都是存储在MySQL中, Elasticsearch数据建模就是根据业务场景建立一个与MySQL表结构对应的Index Mapping结构, 然后将MySQL中的数据迁移到Elasticsearch中.

Mappings 设置非常重要, 需要从两个维度进行考虑:

  • 功能：搜索, 聚合, 排序
  • 性能：存储的开销, 内存的开销, 搜索的性能

如何对字段进行建模?

对字段进行建模时, 我们需要仔细考虑以下四点.

  • 字段类型
  • 是否要搜索及分词
  • 是否要聚合及排序
  • 是否要额外的存储

字段类型

(1) text和keyword

  • text类型用于全文本字段, 文本会被分词. 默认不支持聚合和排序, 只有将fielddata设为true才能支持聚合和排序, 但不推荐使用.
  • keyword类型用于id, 枚举, 或不需要被分词的文本. 适用于filter搜索, 排序和聚合.
最低0.47元/天 解锁文章
椰子Tyshawn
关注
专栏目录
Elasticsearch实战系列之数据建模
程序员光剑
08-04 820
数据建模是ELasticsearch数据管理、分析及查询的核心工作。一个好的数据模型可以让你高效地检索、聚合和分析数据。本系列将会教会你用Elasticsearc的数据建模技巧。数据模型是一个很重要的话题。首先，数据的结构、类型和量都直接影响到系统的运行效率，如何正确建立索引和字段也至关重要。其次，数据模型还可以对业务进行划分、定义实体、关系等。最后，数据模型可以帮助你快速理解并提炼数据特征，做出精准决策。本文通过一些简单的例子向大家展示，数据建模是如何构建的。
Elasticsearch数据建模实践建议
weixin_40809179的博客
11-26 796
DELETE cookie_service PUT cookie_service/_doc/1 { "url":"www.google.com", "cookies":{ "username":"tom", "age":32 } } PUT cookie_service/_doc/2 { "url":"www.amazon.com", "cookies":{ "login":"2019-01-01", "email":"xyz@abc.com" } ...
Elasticsearch数据建模实例
weixin_40809179的博客
11-26 955
DELETE books #Index 一本书的信息 PUT books/_doc/1 { "title":"Mastering ElasticSearch 5.0", "description":"Master the searching, indexing, and aggregation features in ElasticSearch Improve users’ search experience with Elasticsearch’s functionalities and deve..
elasticsearch(20) 数据建模
m0_37139189的博客
11-02 181
1、文件系统数据构造 PUT /fs {   "settings": {     "analysis": {       "analyzer": {         "paths": {            "tokenizer": "path_hierarchy"         }       }     }   } } path_hierarchy tokenizer讲解 /
Elasticsearch-数据建模实例
qq_44447372的博客
04-06 2371
目录 什么是数据建模 数据建模: 功能需求 + 性能需求 如何对字段进行建模 字段类型 字段类型 Text VS Keyword 字段类型:结构化数据 搜索及分词 聚合及排序 额外的存储 一个数据建模的实例 优化字段设定 需求变更 查询图书:解决字段过大引发的性能问题 Mapping字段的相关设置 什么是数据建模 数据建模,是创建数据模型的过程 数据建模是对真实世界进行抽象描述的一种工具和方法,实现对现实世界的映射. 博客/作者/用户评论.
es 数据建模
qq_38146392的博客
11-18 2247
数据建模 嵌套类型：Nested nested属于object类型的一种，是Elasticsearch中用于复杂类型对象数组的索引操作。Elasticsearch没有内部对象的概念，因此，ES在存储复杂类型的时候会把对象的复杂层次结果扁平化为一个键值对列表。 比如： PUT my-index-000001/_doc/1 { "group" : "fans", "user" : [ { "first" : "John", "last" : "Smith" }
8 Elasticsearch 篇之数据建模
李玉坤的博客
01-23 1189
文章目录数据建模简介数据建模数据建模的过程数据建模的意义ES数据建模配置相关介绍Mapping字段的相关设置Mapping字段属性的设定流程是何种类型？是否需要检索是否需要排序和聚合分析是否需要另行存储？ES数据建模实例Nested_Object关联关系处理关联关系处理之Nested ObjectParent_Child关联关系处理之Parent/Childnested_vs_parent_chi...
Elasticsearch数据建模之——mapping字段的相关配置
qq_34646817的博客
09-10 3177
es作为以倒排索引为基础实现的存储体系，不遵循关系型数据库中的范式约定，它的数据建模，是根据部署需求和性能需求的物理模型；而在这个建模的过程中，由于es是可以水平扩展的，可以存储到TB级以上的大数据的原因，他的一些预配置就显得尤其重要了，这关系到整个es的性能和查询效率。 —//— 类似于关系型数据库里面的表结构设计，es中对应的是mapping配置；这一章主要讲的就是mappi...
ElasticSearch学习之数据建模
ChinaCR07的博客
04-06 334
Update By Query _update_by_query 适用场景：索引mappings有更新，通过使用_update_by_query可以查询到mappings更新之前的文档。 POST /blogs/_update_by_query { } reindex ES不允许对已有的索引mappings进行更改，可以重新创建一个索引 然后用reindex操作将原有的索引数据导入都新的索引中。...
ElasticSearch数据建模
weixin_45370502的博客
05-22 200
ElasticSearch数据建模
elasticsearch数据建模
紫一
07-07 418
类似于mysql数据库主外键，三范式 ，先根据条件查询到主键，再根据主键查询到对应的数据 PUT /website/users/1 { "name" : "小鱼儿", "email" : "1690780260@QQ.com", "birthday" : "1997-08-03" } PUT /website/blog/1 { "title"
Elasticsearch 数据建模
wfs
06-27 2079
数据建模：英文为Data Modeling，为创建数据模型的过程 数据模型（Data Model） 对现实世界进行抽象描述的一种工具和方法 通过抽象的实体及实体之间联系的形式去描述业务规则，从而实现对现实世界的映射 数据建模的过程： 概念分析：确定系统的核心需求和范围边界，设计实现和实体间的关系 逻辑模型：进一步梳理业务需求，确定每个实体的属性、关系和约束等 物理模型：结合具体的数据...
ElasticSearch 数据建模
@码农充电站的专栏
02-25 264
本节介绍如何设置 ES 字段的数据类型，应该注意哪些问题。
Elasticsearch 篇之数据建模
我都不会的博客
02-03 553
Elasticsearch 篇之数据建模 数据建模简介 英文为Data Modeling，为创建数据模型的过程 数据模型Data Model 对现实世界进行抽象描述的一种工具方法 通过抽象的实体及实体之间联系的形式去描述业务规则，从而实现对现实世界的映射 数据建模的过程 概念模型 确定系统的核心需求和范围边界，设计实体和实体之间的关系 逻辑模型 进一步梳理业务需求，确定每个实体...
Elasticsearch之数据建模 Mapping 配置
LoveSummer
02-24 851
数据建模 英文为 Data Modeling， 为创建数据模型的过程 数据模型（Data Model） - 对现实世界进行抽象描述的一种工具和方法 - 通过抽象的实体及实体之间联系的形式去描述业务规则，从而实现对现实世界的映射 数据建模的过程 概念模型 - 确定系统的核心需求和范围边界，设计实体和实体间的关系 逻辑模型 - 进一步梳理业务需求，确定每个实体的属性、关系和约束等 物理模型 - ...
干货 | 论Elasticsearch数据建模的重要性
热门推荐
铭毅天下Elasticsearch
09-01 1万+
1、什么是数据模型？ 数据模型是抽象描述现实世界的一种工具和方法，是通过抽象的实体及实体之间联系的形式，用图形化的形式去描述业务规则的过程，从而表示现实世界中事务的相互关系的一种映射。 核心概念： 实体：现实世界中存在的可以相互区分的事务或概念称为实体。 实体可以分为事物实体和概念实体。例如：一个学生、一个程序员等是事物实体。一门课、一个班级等称为概念实体。 实体的属性：每个实体都有自己...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值