走进GBase 8s之分布式功能（一）数据分布策略

最新推荐文章于 2024-03-05 16:01:19 发布
最新推荐文章于 2024-03-05 16:01:19 发布
阅读量473 收藏
点赞数
分类专栏： GBase 8s 文章标签： 哈希算法 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gbase_a_s_c_d/article/details/123581076
版权

GBase 8s 分布式架构通过数据分布策略来提高并行计算能力。支持复制表、分布表。 复制表是指，每个节点上都复制一份，数据关联时在节点本地完成。分布表是指，一份数据根据某个键值水平拆分到不同的节点上。分布方式包括：随机方式和 Sharding 机制。透明数据分布，支持 RANGE、LIST、HASH。

GBase 8s分布式架构通过数据分布策略来提高并行计算能力。

  1. RANGE：根据键值的范围来分布数据
  2. LIST：根据键值的列表来分布数据
  3. HASH：根据键值哈希值来分布数据

    复制表-分布表的适用场景如下：
最低0.47元/天 解锁文章
gbase_a_s_c_d
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GBase 8a Mpp Cluster集群产品性能优化篇之Hash索引
zhu1981hui的博客
02-08 749
Hash Index 通常可以用来解决等值查询的定位效率，特别是对以单表精确查询为主的应用场景尤为适合，如电信业务中的并发话单查询等（特别是内存基本充足的场景）。8a中的hash索引分为 Global Hash与Local Hash，两者主要的区别是应对的场景不同和计算Hash值的范围不同。在应对的场景上，Global Hash Index用于列中数据较分散的情况，而Local Hash Index则用于列中数据较集中的情况，因此，如果一个列中的数值的重复度较高，则应该使用Local Hash Index，
GBase 8c分布式查询（分布表+分布表）
futianxia061112的博客
02-17 451
GBase 8c分布式查询（分布表+分布表）
GBase 8c 核心技术（二）：数据分布策略
qq_41614765的博客
12-03 540
GBase 8c支持复制表和分布表，通过数据分布策略来避免并行计算期间的资源竞争，同时提升系统性能。复制表是指每个节点上都复制一份数据，数据关联时在节点本地完成。分布表是指一份数据根据某个键值水平拆分到不同的节点上，将单个大表拆分成若干小表，提升系统读写的性能。 复制表和分布表的适用场景如下： 表类型 操作类型 性能表现 适用场景 复制表 插入 较慢 ...
GBase 8a MPP数据分布不均解决办法
最新发布
nrhrgu的博客
03-05 1544
对数据在单节点集中和多节点间数据倾斜两种情况进行判断并处理
GBASE使用手册
aqilichouchou的博客
09-15 1350
新建表哈希分布表将表中某列指定为哈希分布列，然后将数据按照哈希算法的取值存储到不同的节点上。每个节点上只存储一部分数据。这种存储策略，将大表数据进行分拆，实现分布式存储，是大型数据中心最常用的数据分布方式。HASH分布列选取规则：尽量选择count(distinct)值大的列做Hash分布列，让数据均匀分布。优先考虑大表间的JOIN，尽量让大表JOIN条件的列为Hash分布列（相关子查询的相关JOIN也可以参考此原则），以使得大表间的JOIN可以直接分布式执行。
GBase 8a Mpp Cluster集群产品性能优化篇之数据分布
zhu1981hui的博客
02-08 814
GBase8a集群性能取决于各个节点整体的性能，每个节点存储的数据量对于集群性能有很大影响，为了尽可能达到最好的性能，所有的数据节点应该尽量存储等量的数据，因此在数据库表规划定义阶段要考虑表是复制表还是分布表，以及对分布表上的某一些列设置为分布列进行hash分布。 例如根据数据的分布特性设计，可以把字典表或者维度表建成复制表的方式将数据存储到各个节点上，不须对其数据进行分片存储，因为字典表的数据量相对较小，虽然在各个节点进行存储有一定的数据冗余，但和事实表的JOIN 运算就可在本地进行，避免节点间
GBase 8a数据库如何选择hash分布列
kevindaddy的博客
04-12 860
数据分布均匀是保证GBas8a集群高效并行处理能力的基础。因此定义表时，如何选用HASH分布策略，保证数据分布均匀是获取高性能的关键所在。 选择的依据遵从四大原则： 第一个就是首先保证所有节点数据存放是均匀的，避免出现节点出现数据分布过多或过少情况； 第二，如果经常进行大表连接，尽量把连接字段定义成hash分布字段，这样尽量减少无效的节点间拉表操作； 第三，尽量保证where条件产生的结果集的存储也尽量是均匀的，避免在做查询的时候，出现某些节点过于繁忙或清闲的情况； 第四，选择使用频率高的group by字
【gbase 8a】gbase使用规范-个人总结篇
weixin_41498246的博客
12-09 269
gbase 8a使用规范
GBase产品学习-hash分布表
lingzi113的博客
04-26 838
hash分布表中的被选为distributed by列字段，不能被update更新，语法会报错。
GBase 8s Windows版安装手册.pdf
08-17
新型分析型数据库GBase 8a、分布式并行数据库集群GBase 8a Cluster、高端事务型数据库GBase 8t、高速内存数据库GBase 8m/AltiBase、可视化商业智能GBaseBI、大型目录服务体系GBase 8d、硬加密安全数据库GBase 8s。...
GBase8s大对象数据类型介绍.docx
12-23
GBase 8s是一款高性能的分布式数据库系统，尤其在处理大规模数据时表现出色。在GBase 8s中，大对象（Large Object）数据类型被设计用来存储超大的二进制或文本数据，这些数据量往往超过了常规数据类型的存储限制。大...
GBase 8s SELECT 触发器介绍.docx
11-23
GBase 8s 是一款高性能的分布式数据库系统，支持多种数据库操作，包括对数据的SELECT、UPDATE、INSERT和DELETE等。在GBase 8s中，SELECT触发器是一种特殊类型的数据库对象，它允许在执行SELECT语句时自动执行预定义...
GBase 8s事务相关概念
12-30
GBase 8s 是一款高性能、高可用性的分布式数据库系统，尤其在大数据处理领域有着广泛的应用。在数据库管理中，事务是确保数据一致性、完整性和可靠性的核心概念。以下是关于GBase 8s中事务相关概念的详细解释： 1. ...
GBase 8s的yacc语法分析.doc
10-24
GBase 8s是一款由南大通用数据技术股份有限公司开发的高性能、高可用性的分布式数据库管理系统，其语法分析是数据库解析器的重要组成部分。在GBase 8s中，Yacc（Yet Another Compiler-Compiler）是一种工具，用于...
GBase 8a检查Hash分布表各分片是否一致的参数
jingjing1068的博客
08-27 436
GBase 8a自身的高可用机制，是能保证主副本一致的，但还是存在一些特殊情况，已经遇到过的包括：清理了错误的event，意外断电而数据没有正确写到物理磁盘(RAID卡无电池)，人工操作直接操作了计算节点等。本文介绍一个方案，检查各个分片是否一致。 参数 _t_gcluster_temp_table_trace 不是所有版本都支持，可以通过show预计查看是否支持该参数。默认值是0 关闭；1 是开启。 gbase> show variables like '%_t_gcluster_temp_tabl
国产数据库---GBase8a的HASH分布表
u010682157的博客
11-28 1036
l随机分布表不足的表现： 随机分布表，入库加载时均匀分布各个节点的，但在查询的时候，精确查询还好，如果关联查询，因为我们的数据分布各个节点是没有规律的，所以关联查询时，会根据关联列进行动态重分布，根据关联列重分布各个节点，强制HASH，数据量小还好，如果数据量大动态重分布一次很耗时的。 l所以现场大表一定要有HASH键，在GBase中，HASH分布列的选择十分重要，选择不正确，则有如下影响： Ø影响数据分布，不好评估数据库空间使用情况 Ø影响性能，节点间出现木桶效应 l表...
GBase 8s HASH 分区
qq_33935229的博客
04-26 449
HASH分区 HASH分区表是按分区列的HASH计算结果来决定其分区的，而特定的分区列其HASH值是固定的，也就是说HASH分区表的数据是按分区列值来聚集的，同样的分区列肯定在同一分区。 创建HASH分区 语法图解 语法格式 HASH ( <fragment_key> {,<fragment_key>} ) ( PARTITION [ partition_name ] [ DBSPACE dbspace_name ] {, PARTITION [ part
gbase数据库建表
热门推荐
weixin_34718910的博客
06-07 1万+
CREATE TABLE "dwd_o_cust_person_day" (  "MONTH_ID" varchar(20) DEFAULT NULL COMMENT '月份',  "DAY_ID" varchar(40) DEFAULT NULL COMMENT '日期',  "AREA_NO" varchar(10) DEFAULT NULL COMMENT '地市',  "CITY_NO" ...
GBase8a如何选择 hash 分布列
lbfk的专栏
08-11 1504
数据分布均匀是保证 GBase 8a MPP Cluster 高效并行处理能力的基础。因此定义表时， 如何选用 HASH 分布策略，保证数据分布均匀是获取高性能的关键所在。 选择的依据遵从四大原则： 第一个就是首先保证所有节点数据存放是均匀的，避免出现节点出现数据分布过多或过少情 况； 第二，如果经常进行大表连接，尽量把连接字段定义成 hash 分布字段，这样尽量减少无效 的节点间拉表操作； 第三，尽量保证 where 条件产生的结果集的存储也尽量是均匀的，避免在做查询的时候， 出现某些节点过于繁忙或清..
gbase8s 迁移数据mysql
11-02
gbase8s 是一个高性能的分布式关系型数据库，而MySQL则是一个常用的关系型数据库管理系统。将数据从gbase8s迁移到MySQL可以通过以下几个步骤完成。 首先，我们需要创建一个MySQL数据库，确保其具备与gbase8s相同的表结构。可以通过使用CREATE TABLE语句在MySQL中创建相应的表，注意确保表结构和列的数据类型与gbase8s中的表一致。 接下来，我们需要将gbase8s中的数据导出为SQL文件。可以使用导出工具，如mysqldump或SELECT INTO OUTFILE语句来完成此操作。导出的SQL文件包含了从gbase8s表中提取数据的语句。 然后，我们可以将导出的SQL文件导入到MySQL数据库中。可以使用MySQL的命令行工具或者图形化界面工具，如MySQL Workbench来执行导入操作。将SQL文件导入到MySQL后，即可将数据插入到对应的表中。 在数据迁移过程中，需要注意一些数据类型和语法的差异。例如，某些数据类型在gbase8s中可能与MySQL中不完全相同，此时需要进行相应的转换或调整。此外，还需要注意主键、索引、约束等方面的差异，以确保数据的完整性和一致性。 最后，进行数据迁移后，建议对新迁移的数据进行验证和测试，以确保数据迁移的准确性和完整性。 综上所述，在迁移gbase8s数据到MySQL时，我们需要创建MySQL数据库，导出gbase8s中的数据为SQL文件，然后将SQL文件导入到MySQL数据库中，并进行必要的数据类型和语法转换。最后，验证和测试迁移后的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值