2018年10月_hmxz1024

原创 GreenPlum分区表原理

Greenplum分区表的原理和PostgreSQL的原理相同，都是把一张大表按照适合的维度进行分割，通过表的继承，规则，约束实现。与PostgreSQL分区表的区别：在PostgreSQL中，通过一个父表，多个子表来实现分区表。插入数据时，需要手动向子表插入数据，如果向父表插入数据，则直接会被插入到父表中。在GPDB中，直接向父表插入数据，便可以根据约束直接自动插入到对应的子表中，当分区子表...

2018-10-27 19:47:59 5546 1

转载大数据云平台 Greenplum：多租户篇

转载自：https://digitx.cn/2018/05/15/greenplum_multi_tenancy/什么是多租户多租户指一套系统能够支撑多个租户。一个租户通常是具有相似访问模式和权限的一组用户，典型的租户是同一个组织或者公司的若干用户。要实现多租户，首先需要考虑的是数据层面的多租户。数据层的多租户模型对上层服务和应用的多租户实现有突出影响。本文重点介绍数据层多租户及Greenp...

2018-10-25 20:02:31 1271

原创 GreenPlum数据库集群故障检测与恢复

Segment镜像概述当Greenplum数据库高可用性被启用时，有两种类型的Segment：主Segment和镜像Segment，每个主Segment都有一个对应的镜像Segment。主Segment从Master接收请求来对该Segment的数据库做更改并且接着把那些更改复制到对应的镜像。如果主Segment变成不可用，数据库请求会被转移到镜像Segment。Segment镜像采用了一种物...

2018-10-24 17:56:08 3936 1

原创 GreenPlum中的vaccum操作及臃肿管理

更新或者删除一行会在表中留下该行的一个过期版本。当一个过期的行不在被任何活跃事务引用时，它可以被移除从而腾出其所占用的空间进行重用。当表中的过期行累积后，为了容纳新的行就必须扩展磁盘文件。这样执行查询所需的磁盘I/O就会增加，从而性能受到影响。这种情况被称为膨胀，并且应该通过定期清理表来解决。VACUUM命令会标记过期行所使用的空间为可以被重用。VACUUMVACUUM命令可以与其他查询并...

2018-10-22 13:59:40 1810

原创 GreenPlum数据分布策略

两种分布方式在Greenplum数据库中所有表都是分布式的，所以每一张表都会被切片，每个segment实例数据库会存放相应的数据片段。切片（分布）规则可以由用户定义，可选的方案有根据用户对每一张表指定的hash key进行的Hash分布或者选择随机分布。Hash分布当选择Hash分布策略时，可以指定表的一列或者多列组合。greenplum会根据指定的Hash key列计算每一行数据对应的Ha...

2018-10-21 16:32:02 2898

原创 GreenPlum数据备份与恢复

GreenPlum数据迁移GreenPlum数据备份与恢复gp_dump是GP并行备份的备份工具，在运行gp_dump的时候master与所有的segment节点都开始备份（standby节点和segment节点中的mirror实例不参加备份），数据文件都是放在各个的节点服务器上，消耗的时间和数据量最大的、消耗时间最长的节点有关。常用的gp_dump参数有：-h ...

2018-10-18 20:15:52 3889 2

原创 PostgreSQL中的B-tree索引

索引是提高数据库性能的常用途径。比起没有索引，使用索引可以让数据库服务器更快找到并获取特定行。但是索引同时也会增加数据库系统的日常管理负担，因此我们应该聪明地使用索引。索引简介在数据库中，一旦一个索引被创建，就不再需要进一步的干预：系统会在表更新时更新索引，而且会在它觉得使用索引比顺序扫描表效率更高时使用索引。但我们可能需要定期地运行ANALYZE命令来更新统计信息以便查询规划器能做出正确的决...

2018-10-09 10:56:06 2465 3

原创 group by与聚集函数

group by命令，通过字面意思可以明白，就是根据（by）一定的规则进行分组（group）。更具体点就是按照数据库中某一或某些字段（group by后接的关键字）进行分组。举例：select DepartmentID as '部门名称',COUNT(*) as '个数' from BasicDepartment group by DepartmentID;聚集函数：Postgresql的聚...

2018-10-08 11:46:09 2349 1

hmxz2nn的博客