Greenplum
关注
分享
扫一扫
文章平均质量分 59
summer108
要做一枚好奇宝宝
展开
-
【gp数据库】统计常用窗口函数详解
统计分析时常常会被一些复杂的求和平均方式搞得头大，自从了解窗口函数解决了不少常见问题，废话不多说，直接看最易懂的实例。原创 2020-02-21 14:44:09 · 3739 阅读 · 1 评论 -
【gp数据库】你可能不知道却超级实用的函数
Greenplum关注在数据仓库和商业智能方面的OLAP数据库，内置了超多好用的函数，例如：split_part、generate_series、string_agg、regexp_split_to_table、rank、grouping sets。原创 2019-11-11 18:28:34 · 10146 阅读 · 0 评论 -
【gp数据库】查找占内存的大表是否压缩
查找anrpt模式下大于2GB的大表名称、建表是否压缩，存储方式、大小。select relname --,relpages,relpages,reltuples,relkind,reloptions,b.sizefrom pg_class join (selectaa.relname "表名",pg_size_pretty(pg_relation_size(dd.nspnam...原创 2019-07-05 10:09:16 · 1327 阅读 · 0 评论 -
【gp数据库】历史SQL查询及gpfdist入库
在排查数据库故障或者找出数据库运行缓慢，反应时间较长的原因时，经常会翻看历史SQL文件。GREENPLUM在主节点的/data/master/gpseg-1/pg_log目录下保存了大量的CSV文件，记录了数据库的操作日志。查看文件内容如下图通过GP自带的gpfdist将文件数据保存到数据表中，gpfdist默认路径就是日志文件所在路径在客户端执行drop EX...原创 2019-05-29 13:16:07 · 3813 阅读 · 0 评论 -
【gp数据库】建表语句万能模板
常用建表结构，根据需求自行更改即可使用！drop table if existsrpt.rpt_bill_m ;create table rpt.rpt_bill_m (user_id SERIAL, ----自增序列acct_month varchar(6),bill_fee numeric(16,2) ,user_info text)WITH (app...原创 2019-03-22 13:03:05 · 7275 阅读 · 2 评论 -
【gp数据库】查找模式下所有函数名称（附带参数信息）
本篇主要目的是查找模式下函数名称，其中用到自定义类型转换的方法，为了将参数拼接起来pg_pro表存储函数信息，其中proargtypes字段表示输入参数类型。这个字段是oidvector类型的，查了好多资料也没找到这是个啥类型，怎么和pg_type.oid做关联。于是还是自定义类型转换吧！---- 类型转换CREATE OR REPLACE FUNCTION oidvector2tex...原创 2018-11-28 11:19:44 · 5247 阅读 · 1 评论 -
【gp数据库】查询函数中引用数据表信息
函数脚本写得多了，再想统计整理用到的表信息十分麻烦。甚至存在历史数据表不再使用的情况，所以需要根据条件对函数引用表信息进行统计。本篇介绍我常用的脚本。1. 查找某数据表在哪些函数中引用过 select proname from pg_proc where prosrc like '%rpt_user_info%'; 2. 查找某数据表在某模式下的哪些函数中引用过 se...原创 2018-11-26 21:10:50 · 3074 阅读 · 0 评论 -
【gp数据库】你一定会用到的运维语句宝典
-- 查询历史sql日志GREENPLUM在主节点的/data/master/gpseg-1/pg_log目录下保存了大量的CSV文件，记录了数据库的操作日志。-- 查询未空闲的进程信息select*frompg_stat_activitywherecurrent_query<>'<IDLE>';结果可查看数据库名，进程标识...原创 2018-09-21 18:03:02 · 2189 阅读 · 0 评论 -
【gp数据库】OLTP和OLAP两种数据库系统类型特点
原来一直使用Oracle，新公司使用greenplum后发现系统的并发性差很多，后来才了解因为Oracle属于OLTP类型，而gp数据库属于OLAP类型的。具体了解如下：数据库系统一般分为两种类型，一种是面向前台应用的，应用比较简单，但是重吞吐和高并发的OLTP类型；一种是重计算的，对大数据集进行统计分析的OLAP类型。Greenplum属于后者，下面简单介绍下两种数据库系统的特点。OLT...原创 2018-09-03 11:31:24 · 2456 阅读 · 1 评论 -
【gp数据库】十条实用数据库SQL优化建议
基于PostgreSQL，总结几条常用的查询操作的优化建议，部分也适用于Oracle等数据库。推荐工具书《greenplum企业应用实战》国内首本Greenplum方面的著作。1.选择合适的分布键分布键选择不当会导致重分布、数据分布不均等，而数据分布不均会使SQL集中在一个segment节点的执行，限制了gp整体的速度。查看某表是否分布不均：select gp_segment_id...原创 2018-07-24 17:23:56 · 8225 阅读 · 0 评论 -
【gp数据库】查询系统表看模式下所有表的分布键信息
Greenplum是关系型的分布式数据库，需要存储的数据库在进入数据库时，将先进行数据分布的处理工作，将一个表的数据按照某种方式分到每个节点上，并为每个表指定一个分发列（distribute Column），之后根据Hash来分布数据。本篇介绍查询某模式下所有表的分布键信息，适用于：排查是否有分布键创建不合理的表，如果分布键是重复率比较高的字段会造成数据分布不均匀，存储过于倾斜。 ...原创 2018-08-29 21:02:24 · 10770 阅读 · 4 评论 -
【gp数据库】后台周期执行函数实例（shell+crontab）
工作中常见函数后台周期执行的情况，Oracle有job实现，gp数据库可以通过shell+crontab实现。流程如下：gpadmin用户下创建函数sh脚本。 将sh挂在crontab任务上################################详细描述###################################一、在路径 /home/summer 下创建文件 tas...原创 2018-08-17 11:08:09 · 1910 阅读 · 0 评论 -
【gp数据库】工作中常用DDL和DCL语句干货
接触gp数据库近一年的时间，语法上和其他数据库还是有些许不同，工作中常用的操作语句分享给大家！-- 建表语句create table ods.ods_b_bill_m (acct_month text,user_id text,city_code text)WITH (appendonly=true,orientation=column,--列存 行存为 row...原创 2018-07-23 21:25:31 · 5224 阅读 · 0 评论