greenplum
酷酷的诚(公众号:Panda诚)
这个作者很懒,什么都没留下…
展开
-
Greenplum上手报告
简介Greenplum应用在OLAP领域,MPP架构,其底层使用Postgre,支持横向扩展,支持行存储、列存储,支持事务、ACID。MPP数据库主打share nothing,即各节点间任何资源都不共享,从硬件的CPU/内存/网络/存储,到上层的操作系统,各节点都是独立的;节点间的交互主要通过网络进行通信。由于数据量越来越大,OLAP产品多采用MPP架构,例如阿里的ADS,百度的Palo...转载 2019-02-27 15:03:15 · 447 阅读 · 0 评论 -
GP开源与商业的一些特性区别
Pivotal Greenplum 商业Greenplum 开源产生Pivotal Greenplum数据库二进制安装包的代码不包括在开源Greenplum数据库的仓库中。 Greenplum数据库不包括EMC DD Boost集成。只有当Data Domain系统被挂在为在Greenplum主机上共享的NFS时才支持备份到EMC Data Domain appliance。 ...原创 2019-03-04 10:58:04 · 1646 阅读 · 0 评论 -
GreenPlum数据加载
1. copy命令 对于数据加载,GreenPlum数据库提供copy工具,copy工具源于PostgreSQL数据库,copy命令支持文件与表之间的数据加载和表对文件的数据卸载。使用copy命令进行数据加载,数据需要经过Master节点分发到Segment节点,同样使用copy命令进行数据卸载,数据也需要由Segment发送到Master节点,由Master节点汇总后再写入外部文件,这样就...转载 2019-02-27 09:54:11 · 766 阅读 · 0 评论 -
GP查杀进程
select * from pg_stat_activity where client_addr = '';SELECT pg_terminate_backend(29606) FROM pg_stat_activity原创 2019-03-02 22:07:06 · 651 阅读 · 0 评论 -
GP datetype
Name Alias Size Range Description bigint int8 8 bytes -9223372036854775808 to 9223372036854775807 ...原创 2019-02-26 18:25:02 · 318 阅读 · 0 评论 -
测试GP HDFS外部表及数据装载流程
前言:GP insert,copy 实际是要先走master,再分发至各个segment,占用master各种资源,segment资源又未充分利用,关键是速度又慢;GP的正确玩法应该是 外部表/gpfdist ,直接用segment装载数据。建立外部表,location到指定的hdfs位置注意:表字段类型与schema信息需要一致 CREATE EXTERNAL TABLE pu...原创 2019-02-26 18:18:19 · 884 阅读 · 0 评论 -
GreenPlum查看表字段类型
Select column_name,data_type from information_schema.columns where table_schema='zs_dw_corp_sc' and table_name='dw_capi_allotment';原创 2019-03-02 11:21:08 · 3790 阅读 · 0 评论 -
数据库 与 数据仓库的本质区别是什么?
毕业这一年多,听着数仓,数仓的,总是在纳闷 数仓不也是放在数据库里的嘛??下面在知乎上列举的一个例子(https://www.zhihu.com/question/20623931/answer/139842331 作者:陈诚),让我明白了数据库:传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。数据仓库:数据仓库系统的主要应用主要是OLAP(On-Line ...转载 2019-03-05 11:18:26 · 317 阅读 · 0 评论 -
validationQuery
数据库 validationQuery Oracle select 1 from dual MySQL select 1 Microsoft SQL Server select 1 DB2 select 1 from sysibm.sysdummy1 SQLite select 1 HSQLDB select 1 from I...原创 2019-03-01 13:11:06 · 1249 阅读 · 0 评论 -
GP模式设计
Greenplum数据库是一种分析型的shared-nothing数据库,它和高度规范化的事务型SMP数据库有很大不同。Greenplum数据库使用非规范化的模式设计会工作得最好,非规范化的模式适合于MPP分析型处理,例如带有大型事实表和较小维度表的星形模式或者雪花模式。数据类型一致地使用类型 为表间连接中用到的列使用相同的数据类型。如果数据类型不同,Gre...原创 2019-03-04 17:13:26 · 930 阅读 · 0 评论