了解Greenplum （2）

一、目的

1、 理解Greenplum中的数据分布策略（random 和 distribution），分析不同分布策略的优劣；
2、 理解查询执行中的数据广播和数据重分布，分析在何种情况下选择哪种策略，以具体实验验证；

3、借助explain指令，分析select、join、group等常用sql语句的执行流程；

4、查看相关文档理解SQL中窗口函数的语义，分析窗口函数的执行语义，以实验验证。

（复制）

二、 使用环境

主机数量：3台虚拟机，1台master单核2G内存，2台slave单核1.5G内存

虚拟机：VMware 10.0

操作系统：CentOS 6.7

Greenplum版本：4.3.99.00(PostgreSQL  8.3.23)

二、实验过程

1、Greenplum数据分布策略random与hash-distribution

首先，创建一张原始表，输入一些数据，不指定分布键，默认以第一列作为分布键。

 

可以修改分布键，按c3列分布。

 

插入一些数据，然后查看数据分布。

 

 可以观察到，按c3列的值进行哈希分布。c3=3的值全部分布到seg0，因此可以看出，若分布键不均匀，以hash分布的方式分布数据，存在数据偏移。

 修改分布策略为随机分布，查看数据分布。

 

咋一看，数据分布也不均匀，但是这可能是由于数据量过少，随机分布出现的偏差。重新组织数据，再次查看，发现数据分布比较均匀了。而且，可以看到，c3=3的行被分散到不同的seg中去。

总结GP的分布策略，采用随机的分布方式，数据分布较为均匀。按分布键的方式进行哈希分布，不一定能够保证数据不会存在偏移，但是对于读取数据应该较为友好。可以不必遍历所有的seg节点。

 

2、数据广播和数据重分布

关联数据在不同节点上的，需要通过网络流入到一个节点上执行连接操作，产生了数据迁移，GP中的数据迁移方式为数据广播和数据重分布。

数据重分布，使用上次作业所导入的表，进行连接操作，发现查询计划使用了数据重复布执行。

 

数据广播，创建一个小表oders_replay,使其与大表做连接，发现查询的执行方式变成数据广播方式。

 

因此，总结上面GP策略的选择上，若数据量相差比较大的情况下，将小表广播到各个seg节点上，会执行的更快。若数据量基本相当，则使用数据重分布的方式，通常代价比较小。

 3、sql执行流程

Select语句执行：

根据上图所示，”select *,cume_dist() over(order by grade) from stugrade;”语句是一个嵌套循环查询，循环内先做调用聚集函数。分布式执行过程采用Gather Motion（N:1）方式将所有子节点汇合数据到slice 1（master）上。顺序扫描全表，按grade合并，再排序。

  Join 语句执行：

上面的Join语句同样是采用Gather Motion（N:1）方式迁移数据，之后采用hash join的方式进行连接。

Group 语句执行：

Group语句以grade属性进行成组，统计各grade的人数，sql执行过程是，数据按grade键重分布，顺序扫描stugrade表，然后使用hash方式是以grade属性成组，最后迁移到一个节点进行统计返回结果。

4、窗口函数

 

窗口函数是只能在select语句中使用的一直函数类型，每一行返回一个值，结果按照当前行或行所对应的窗口分隔、框架来说明，使用时带有over语句。所有窗口函数都使用over（）语句作为条件，可在括号中指定应用的函数。

 

     窗口函数表：

 

函数	返回类型	语法	描述
cume_dist()	double precision	CUME_DIST() OVER ( [PARTITION BY expr ] ORDER BY expr )	计算一组只中值的累计分布。具有相同值的行有相同的累计分布值。
dense_rank()	bigint	DENSE_RANK () OVER ( [PARTITION BY expr ] ORDER BY expr )	计算在一个无跳过的有序组中的行的排行值。
first_value(expr)	same as input expr type	FIRST_VALUE( expr ) OVER ( [PARTITION BY expr ] ORDER BY expr [ROWS|RANGE frame_expr ] )	返回一个有序集合中的第一个元素的值
lag(expr[,offset] [,default])	same as input expr type	LAG( expr [, offset ] [, default ]) OVER ( [PARTITION BY expr ] ORDER BY expr )	提供一个访问同一个表的多行数据，而不用做自连接。从查询中返回一系列行的游标。LAG提供在给定偏移上的一行的访问。默认偏移是1。如果偏移超过范围，讲返回默认值。若默认值没有指定，则默认值为空。
last_value(expr)	same as input expr type	LAST_VALUE(expr) OVER ( [PARTITION BY expr ] ORDER BY expr [ROWS|RANGE frame_expr ] )	返回一个有序集合中的最后一个元素的值
lead(expr [,offset] [,default])	same as input expr type	LEAD(expr [,offset] [,exprdefault]) OVER ( [PARTITION BY expr ] ORDER BY expr )	提供一个访问同一个表的多行数据，而不用做自连接。从查询中返回一系列行的游标。Lead提供在给定偏移上的一行的访问。默认偏移是1。如果偏移超过范围，讲返回默认值。若默认值没有指定，则默认值为空。
ntile(expr)	bigint	NTILE(expr) OVER ( [PARTITION BY expr ] ORDER BY expr )	将一个有序的数据集划分成若干桶（由表达式定义），假设每一行放进一个桶中。
percent_rank()	double precision	PERCENT_RANK () OVER ( [PARTITION BY expr ] ORDER BY expr )	计算在数据集中的百分比。
rank()	bigint	RANK () OVER ( [PARTITION BY expr ] ORDER BY expr )	计算一个有序组中的排名，相同值的排名相同，所以排名可能不连续。
row_number()	bigint	ROW_NUMBER () OVER ( [PARTITION BY expr ] ORDER BY expr )	将一个唯一的数字分配给分区中的每一行或这个查询的每一行。

简单的对上面的几个窗口函数进行测试。

Row_number():

Rank():

Percent_rank(): 这里的百分比是指在之前n-1行的百分比累计值。相同行值的百分比值相同。

 last_value(expr) 和first_value(expr)：last取分区内最后一个元素，first区第一个元素。

 

Cume_dist():

5.附注

*

 

转载于:https://www.cnblogs.com/tianjiqx/p/6027112.html