Hologres性能调优

已于 2022-03-28 09:59:19 修改
阅读量882 收藏
点赞数 1
文章标签： 大数据 阿里云 odps
于 2022-03-25 17:24:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46777133/article/details/123740957
版权
查看执行计划
  • explain 仅仅生成执行计划、sql没有执行
  • explain analyze sql会执行，并收集实际运行中的一些信息
性能优化手段
  • 表结构、表数据变动后执行analyze table
  • 执行计划中没有让小表hash join，说明表的统计信息有误，大表、小表都执行analyze
  • 设置distribution_key,distribution_key决定数据存储在哪个shard
  • Motion node不合适时，设置参数关闭对应的motion 
    • Redistribute motion(hash分布或随机分布)

    • Broadcast motion（广播至所有shard）

    • gather motion (聚合到一个shard)

    • Forward motion（联邦查询，外部数据源和内部数据源）
  • dictionary_encode有利于字符串的快速比较，但是多了一个decode过程，合理设置哪些字段需要dictionary_encode
  • 行存（服务类应用选择行存），列存（分析类应用列存）
  • 字段类型选择合适的
  • 分区
  • 索引
    在这里插入图片描述
欧皇西西
关注
实时数仓入门训练营：Hologres 性能调优实践
阿里云技术
07-19 657
内容简要： 一、Hologres建表最佳实践 二、Hologres性能问题分析与优化 一、Hologres建表最佳实践 （一）建表优化的必要性 为什么Hologres建表优化非常重要？ 首先，对于整个的查询性能以及写入性能来讲，一个好的建表跟一个比较差的建表，性能上面有非常大的区别。 其次，建表优化需要尽早做，是因为Hologres在改 DDL的同时，有可能需要用户重复进行一些数据导入，这种重复的工作使得我们希望尽早完成建表优化。 最后，一个好的建表对于用户的数据存储成本也有一定的帮助。如果
Hologres揭秘：优化COPY，批量导入性能提升5倍+
阿里云云栖号
07-02 999
简介： 揭秘Hologres优化COPY的技术原理，实现批量导入性能提升5倍+ Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析。它的出现简化了业务的架构，为业务提供实时决策的能力，让大数据发挥出更大的商业价值。从阿里集团诞生到云上商业化，随着业务的发展和技术的演进，Hologres也在持续不断优化核心技术竞争力，为了让大家
hologres 建表/索引/查询优化
Direction_Wind的博客
11-17 2007
Bitmap不同于Distribution Key和Clustering Key，Bitmap是数据存储之外的独立索引，设置了Bitmap索引之后，系统会将列对应的数值生成一个二进制字符串，用于表示取值所在位置的Bitmap，当查询命中Bitmap时，会快速定位到数据所在的行号（Row Number），从而快速过滤出数据。大宽表的每一列都设置为Bitmap场景：如果为大宽表的每一列都设置为Bitmap，那么在写入时每个值都需要构建成Bitmap，会有一定的系统开销，从而影响写入性能。
实时数仓Hologres TPC-H及点查性能开箱测试
最新发布
科技很有意思
07-26 939
本次开箱测试主要通过96CU进行OLAP场景的TPC标准查询测试以及Serving场景会包含例如insert场景、update的场景，如果您也需要测试可以在官网购买59元150000CU时进行测试（1个96CU实例1小时消耗96CU时）
Hologres性能优化指南2：分布键Distribution Key，
qq_41627514的博客
12-27 1050
在Hologres中，Distribution Key属性指定了表数据的分布策略，系统会保证Distribution Key相同的记录被分配到同一个Shard上。Distribution Key是非常重要的分布式概念，合理设置Distribution Key可以达到如下效果：显著提高计算性能。不同的Shard可以进行并行计算，从而提高计算性能。显著提高每秒查询率（QPS）。当您以Distribution Key做过滤条件时，Hologres可以直接筛选出数据相关的Shard进行扫描。
Hologres表设置操作
hsabrina的博客
05-16 1024
基础属性的设置 distribution_key 指定分布列，数据将按照指定列，shuffle到各个shard set_table_property('public.dwd_intl_trd_pay_itm_buyer_ri', 'distribution_key', 'stat_ date,stat_hour,brand_id,seller_id'); clustering_key 指定一些列作为聚簇索引 set_table_property('public.dwd_intl_trd_pay
Hologres使用说明
sanhongbo的博客
02-15 557
1.holo代替kafka作为实时计算的数据传输介质 2.holo部分字段更新功能使用
实时数仓入门训练营：Hologres性能调优实践
阿里云云栖号
07-19 1018
简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用，7 门精品课程帮助你 5 天时间从小白成长为大牛！ 视频链接:https://developer.aliyun.com/learning/course/807/detail/13889 内容简.
实时数仓“王炸组合”实时计算Flink版+Hologres.pdf
01-25
Hologres性能调优实践可以帮助开发者更好地使用Hologres产品，进行性能调优。包括如何使用Hologres来优化查询性能、如何使用Hologres来优化数据写入性能等。 本文档对实时计算Flink版本和Hologres进行了详细的介绍...
正确设计Hologres实时数仓，性能提升10倍+
aliyunhologres的博客
12-31 908
概要：天猫双11对于零售通团队来说也是全年最大的一场战役，数据响应需要更实时，但也会相应增加更多的个性化指标，业务面临的挑战也会更大。本文将会讲述阿里巴巴零售通数据平台如何优化Hologres实时数仓，达到性能提升10倍+的效果，完美支撑双11营销活动、实时数据大屏等核心场景。也希望通过此文对Hologres新用户起到一定的帮助作用，通过合理的数仓设计实现事半功倍的性能效果。 作者： 曹泰铭（潇铭） 阿里巴巴零售通事业部高级数据工程师 汪宇（旋宇） 阿里巴巴零售通事业部高级数据工程师 背景 阿里巴巴零售通团
阿里云Hologres实战指南：性能优化与TPC-H测试
此外，还有针对MaxCompute外部表查询的性能优化技巧和内表性能调优的方法，这些都是确保Hologres高效运行的关键步骤。 "BI可视化"章节则展示了如何利用Hologres数据进行深入的商业智能分析，实战部分详细讲解了如何...
新东方基于Hologres实时离线一体化数仓建设实践
aliyunhologres的博客
02-17 1733
业务介绍 新东方教育科技集团定位于以学生全面成长为核心，以科技为驱动力的综合性教育集团。集团由1993年成立的北京新东方学校发展壮大而来，拥有短期培训系统、基础教育系统、文化传播系统等业务。 ​ 在互联网大潮中，新东方在IT技术上也不断重构，持续投入大数据建设，研发大数据的相关技术和应用，从而快速而精准地响应业务需求，并用数据为集团各级领导提供决策依据。新东方的大数据应用主要包括两部分： 企业应用端的业务场景（B端）：包括交易，教学，人员等数据，数据规模为TB级。数据会被按照不同的条件和学校层级等，形成营
Hologres使用小记
weixin_44996457的博客
11-26 5076
1、Hologres 0.8 创建数组类型外部表采坑 ODPS:CREATE TABLE `test_clue` ( `id_c` array<bigint>, `name` array<string> ) ; Holo: CREATE FOREIGN TABLE test_clue( id int8[], name text[]) SERVER odps_server OPTIONS(project_name 'itsl_dev', table_name 'test_
Hologres揭秘:深度解析高效率分布式查询引擎
aliyunhologres的博客
06-07 607
Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析。它的出现简化了业务的架构，与此同时为业务提供实时决策的能力，让大数据发挥出更大的商业价值。从阿里集团诞生到云上商业化，随着业务的发展和技术的演进，Hologres也在持续不断优化核心技术竞争力，为了让大家更加了解Hologres，我们计划持续推出Hologers底层技术原理揭秘
mysql慢查询原因分析与解决（二）——explain分析查询
Mr__fang的专栏
11-06 3185
原文：http://www.javaranger.com/archives/1476 使用 EXPLAIN 关键字可以模拟优化器执行SQL查询语句，从而知道MySQL是如何处理你的SQL语句的。这可以帮你分析你的查询语句或是表结构的性能瓶颈。通过explain命令可以得到: – 表的读取顺序 – 数据读取操作的操作类型 – 哪些索引可以使用 – 哪些索引被实际使用 –
网易实时数仓实践与展望
qianshanding0708的博客
09-14 417
“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲...
首次揭秘云原生Hologres存储引擎
阿里云云栖号
12-02 2012
简介：本文将会首次对外公开介绍Hologres的存储引擎，深度剖析其实现原理和核心技术优势。 概要：刚刚结束的2020天猫双11中，MaxCompute交互式分析（Hologres）+实时计算Flink搭建的云原生实时数仓首次在核心数据场景落地，为大数据平台创下一项新纪录。借此之际，我们将陆续推出云原生实时数仓双11实战系列内容。本文将会首次对外公开介绍Hologres的存储引擎，深度剖析其实现原理和核心技术优势。 一、背景介绍 MaxCompute 交互式分析（Hologres）是阿里云自研开发的.
实时数仓-hologres使用总结
weixin_43805705的博客
11-02 4685
本期是从Hologres开发、数据同步实战、性能调优、运维等方面对hologres使用进行的全面总结。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值