https://mp.weixin.qq.com/s/j7YdtmyuzBFRK1BViDtp2w

干货 | Elasticsearch多表关联设计指南

0、题记

Elasticsearch多表关联问题是讨论最多的问题之一,如:博客和评论的关系,用户和爱好的关系。

多表关联通常指:1对多,或者多对多关系在ES中的呈现。

本文以星球问题出发点,引申出ES多表关联认知,分析了4种关联关系的适用场景、优点、缺点。

希望对你有所启发,为你的多表关联方案选型、实战提供帮助。

1、抛出问题

1.1 星球典型问题

1.2 社区典型问题

1.3 QQ群典型问题

关系型数据库中的多表之间的关联查询,ES中有什么好的解决方案?
如果我把关联关系的表迁移到ES中放到一个type下,文档结构除了对象之间的嵌套还有什么好的解决方案?

2、基础认知

2.1 关系型数据库

关系数据库是专门为关系设计的,有如下特点

  • 可以通过主键唯一地标识每个实体(如Mysql中的行)。

  • 实体 规范化 。唯一实体的数据只存储一次,而相关实体只存储它的主键。只能在一个具体位置修改这个实体的数据。

  • 实体可以进行关联查询,可以跨实体搜索。

  • 支持ACID特性,即:单个实体的变化是 原子的 , 一致的 , 隔离的 , 和 持久的 。

  • 大多数关系数据库支持跨多个实体的 ACID 事务。

关系型数据库的缺陷

  • 第一:全文检索有限的支持能力。 这点,postgresql已部分支持,但相对有限。

  • 第二:多表关联查询的耗时很长,甚至不可用。之前系统开发中使用过Mysql8个表做关联查询,一次查询等待十分钟+,基本不可用。

2.2  Elasticsearch

Elasticsearch ,和大多数 NoSQL 数据库类似,是扁平化的。索引是独立文档的集合体。 文档是否匹配搜索请求取决于它是否包含所有的所需信息和关联程度。

Elasticsearch 中单个文档的数据变更是满足ACID的, 而涉及多个文档时则不支持事务。当一个事务部分失败时,无法回滚索引数据到前一个状态。

扁平化有以下优势

  1. 索引过程是快速和无锁的。

  2. 搜索过程是快速和无锁的。

  3. 因为每个文档相互都是独立的,大规模数据可以在多个节点上进行分布。

2.3 Mysql VS Elasticsearch

  • mysql才擅长关系管理,而ES擅长的是检索。

    Medcl也曾强调:“如果可能,尽量在设计时使用扁平的文档模型。” Elasticsearch的关联存储、检索、聚合操作势必会有非常大的性能开销。

     

3 Elasticsearch关联关系如何存储

关联关系仍然非常重要。某些时候,我们需要缩小扁平化和现实世界关系模型的差异。 
以下四种常用的方法,用来在 Elasticsearch 中进行关联数据的管理:

3.1 应用端关联

这是普遍使用的技术,即在应用接口层面来处理关联关系。
针对星球问题实践,

  1. 存储层面:独立两个索引存储。

  2. 实际业务层面分两次请求:

第一次查询返回:Top5中文姓名和成绩; 
根据第一次查询的结果,第二次查询返回:Top5中文姓名和英文姓名;

将第一次查询结果和第二次查询结果组合后,返回给用户。


即:实际业务层面是进行了两次查询,统一返回给用户。用户是无感知的。

适用场景数据量少的业务场景。
优点:数据量少时,用户体验好。
缺点:数据量大,两次查询耗时肯定会比较长,影响用户体验。

引申场景:关系型数据库和ES 结合,各取所长。将关系型数据库全量同步到 ES 存储,不做冗余存储。
如前所述:ES 擅长的是检索,而 MySQL 才擅长关系管理。所以可以考虑二者结合,使用 ES 多索引建立相同的别名,针对别名检索到对应 ID 后再回 MySQL 查询,业务层面通过关联 ID join 出需要的数据。

3.2 宽表冗余存储

对应于官方文档中的“Data denormalization”,官方直接翻译为:“非规范化你的数据”,总感觉规范化是什么鬼,不好理解。
通俗解释就是:冗余存储,对每个文档保持一定数量的冗余数据可以在需要访问时避免进行关联。

这点通过logstash 同步关联数据到ES时,通常会建议:先通过视图对Mysql数据做好多表关联,然后同步视图数据到ES。此处的视图就是宽表。

针对星球问题实践:姓名、英文名、成绩两张表合为一张表存储。

适用场景:一对多或者多对多关联。

优点:速度快。因为每个文档都包含了所需的所有信息,当这些信息需要在查询进行匹配时,并不需要进行昂贵的关联操作。

缺点:索引更新或删除数据,应用程序不得不处理宽表的冗余数据;
由于冗余存储,导致某些搜索和聚合操作可能无法按照预期工作。

3.3 嵌套文档(Nested)存储

Nested类型是ES Mapping定义的集合类型之一,它是比object类型更NB的支持独立检索的类型。
举例:有一个文档描述了一个帖子和一个包含帖子上所有评论的内部对象评论。可以借助 Nested 实现。

实践注意1:当使用嵌套文档时,使用通用的查询方式是无法访问到的,必须使用合适的查询方式(nested query、nested filter、nested facet等),很多场景下,使用嵌套文档的复杂度在于索引阶段对关联关系的组织拼装。

推荐实践:干货 | Elasticsearch Nested类型深入详解

实践注意2

index.mapping.nested_fields.limit 缺省值是50。即:一个索引中最大允许拥有50个nested类型的数据。index.mapping.nested_objects.limit 缺省值是10000。即:1个文档中所有nested类型json对象数据的总量是10000。

适用场景:1 对少量,子文档偶尔更新、查询频繁的场景。
如果需要索引对象数组并保持数组中每个对象的独立性,则应使用嵌套 Nested 数据类型而不是对象 Oject 数据类型。

优点:nested文档可以将父子关系的两部分数据(举例:博客+评论)关联起来,可以基于nested类型做任何的查询。
缺点:查询相对较慢,更新子文档需要更新整篇文档。

3.4 父子文档存储

注意:6.X之前的版本的父子文档存储在相同索引的不同type中。而6.X之上的版本,单索引下已不存在多type的概念。父子文档Join的都是基于相同索引相同type实现的。

Join类型是ES Mapping定义的类型之一,用于在同一索引的文档中创建父/子关系。 关系部分定义文档中的一组可能关系,每个关系是父名称和子名称。

实践参考:Elasticsearch 6.X 新类型Join深入详解

适用场景:子文档数据量要明显多于父文档的数据量,存在1 对多量的关系;子文档更新频繁的场景。

举例:1 个产品和供应商之间是1对N的关联关系。 
当使用父子文档时,使用has_child 或者has_parent做父子关联查询。

优点:父子文档可独立更新。
缺点:维护Join关系需要占据部分内存,查询较Nested更耗资源。

4 小结

 

  1. 在Elasticsearch开发实战中对于多表关联的设计要突破关系型数据库设计的思维定式

  2. 不建议在es做join操作,parent-child能实现部分功能,但是它的开销比较大,如果可能,尽量在设计时使用扁平的文档模型。

  3. 尽量将业务转化为没有关联关系的文档形式,在文档建模处多下功夫,以提升检索效率。

  4. Nested&Join父子文选型必须考虑性能问题。 nested 类型检索使得检索效率慢几倍,父子Join 类型检索会使得检索效率慢几百倍。

以上内容,实际官方文档都有明确的描述。我把内容加上自己的理解,作了精炼和解读。

再次强调:第一手资料的重要性。但本着“再显而易见的道理,也有N多人不知道”的原则,一定要读英文官方文档,加深认知理解。

Elasticsearch多表关联你是如何做的呢?欢迎留言写下您的思考。

参考:
[1] https://www.elastic.co/guide/en/elasticsearch/guide/current/relations.html
[2] rockybean 教程

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
引用\[1\]: 微信支付API提供了多个接口,其中包括统一下单、查询订单、关闭订单、申请退款、查询退款、下载对账单、下载资金账单、交付结果通知、交易保障、退款结果通知和拉取订单评价数据等接口。这些接口有些需要使用证书,有些则不需要使用证书。\[1\] 引用\[2\]: 有时候在使用微信支付接口时,可能会遇到无法请求接口的问题。其中一个可能的原因是DNS解析错误,可以通过在服务器的hosts文件中添加微信支付接口的IP地址来解决这个问题。\[2\] 引用\[3\]: 另外,有时候在生成微信支付二维码时也可能遇到问题。最近微信支付进行了升级,导致原来的请求位置支付的二维码地址不能用了,所以只能在服务器本地生成支付二维码。在调试过程中,可能会遇到打印出的$responseXml为空的情况,这可能是请求接口时出现了问题。\[3\] 综上所述,如果你遇到了无法请求"https://api.mch.weixin.qq.com/pay/unifiedorder"接口的问题,可能是由于DNS解析错误或者接口升级导致的。你可以尝试在服务器的hosts文件中添加微信支付接口的IP地址来解决DNS解析错误的问题。另外,你还可以检查请求接口时的代码是否正确,确保请求参数正确传递。如果问题仍然存在,建议查看微信支付的官方文档或联系微信支付的技术支持获取进一步的帮助。 #### 引用[.reference_title] - *1* [微信支付--公众号支付及退款,采坑之旅](https://blog.csdn.net/qq_36994538/article/details/100079697)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [PHP微信支付 curl请求https://api.mch.weixin.qq.com/pay/unifiedorder 返回空的解决方案](https://blog.csdn.net/amtz_2000/article/details/84139019)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值