Greenplum入门——基础知识、安装、常用函数

最新推荐文章于 2024-03-05 08:00:00 发布
最新推荐文章于 2024-03-05 08:00:00 发布
阅读量1.6w 收藏 59
点赞数 7
文章标签： greenplum 函数 数据库 企业应用 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KEY0323/article/details/78177964
版权

本文为博主在学习Greenplum时阅读的《Greenplum企业应用实战》时的笔记，对书中章节的知识要点进行了归纳和梳理。有兴趣的同学可以找原书学习下。如果认为文中内容涉嫌侵权请及时联系博主删除文章。

软件安装及数据库初始化

Greenplum架构

Master主机与Segment主机的职责

Master

  • 建立与客户端的会话连接和管理
  • SQL的解析并形成分布式的执行计划
  • 将生成好的执行计划分发到每个Segment上执行
  • 收集Segment的执行结果
  • 不存储业务数据，只存储数据字典
  • 可以一主一备，分布在两台机器上
  • 为了提高性能，最好单独占用一台机器

Segment

  • 业务数据的存储和存取
  • 执行由Master分发的SQL语句
  • 对于Master来说，每个Segment都是对等的，负责对应数据的存储和计算
  • 每一台机器上可以配置一到多个Segment
  • 由于每个Segment都是对等的，建议蚕蛹相同的及其配置
  • Segment分primary和mirror两种，一般交错的存放在子节点上

Master和Segment都是一个单独的PostgreSQL数据库。每一个都有自己单独的一套元数据字典。Master节点一般也叫主节点，Segment叫做数据节点。

为了实现高可用，每个Segment都有对应的备节点 Mirror Segment分别存在与不同的机器上。

Client一般只能与Master节点进行交互，Client将SQL发给Master，然后Master对SQL进行分析后再讲其分配给所有的Segment进行操作。

环境搭建

操作系统

Greenplum没有Windows版本，只能安装在类UNIX的操作系统上

数据库存储

Greenplumn极度消耗IO资源，所以对存储的要求比较高。

文件系统的选择上，Linux下建议使用XFS，Solaris建议使用ZFS，对于Raid根据需求选择硬Raid活软Raid，如果需要更大孔家，建议使用Raid5，如果对性能要求更高，可选择Raid1+0.

网络

配置/etc/hosts时，习惯将Master机器叫做mdw，将Segment机器叫做sdw

创建用户及用户组

将原有用户删除

#groupdel gpadmin
#userdel gpadmin

安装

1.安装数据库软件

创建新的用户和用户组

#groupadd -g 530 gpadmin
#useradd -g 530 -u 530 -m -d /home/gpadmin -s /bin/bash gpadmin

对文件夹赋权，为新用户创建密码

#chown -R gpadmin:gpadmin /home/gpadmin/
#passwd gpadmin
Changing password for user gpadmin.
New UNIX password:
Retype new UNIX password:

执行unzip命令解压安装文件

unzip greenplum-db-4.1.1.1-build-1-RHEL5-x86_64.zip

为Greenplum软件创建安装目录，并且赋给gpadmin用户权限

mkdir /opt/greenplum
chown -R gadmin:gpadmin /opt/greenplum

安装

./greenplum-db-4.1.1.1-build-1-RHEL5-x86_64.bin

安装完成后Greenplum的环境变量已经在greenplum_path.sh中设置了。
引用环境变量配置

source /opt/greenplum/greenplum-db/greenplum_path.sh

2.配置hostlist

[gpadmin@dw-greenplum01 ]$ cat hostlist
mdw
sdw1
sdw2
sdw3

seg_hosts只保存segment节点的hostname

[gpadmin@dw-greenplum-1 conf]$ cat seg_hosts
sdw1
sdw2
sdw3

3.使用gpssh-exkeys打通所有服务器

使用gpssh-exkeys将所有机器的通道打开，这样就不用输入密码使登陆在每台机器之间跳转了

[gpadmin@dw-greenplum-1 conf]$ gpssh-exkeys -f hostlist

打通所有机器通道后，就可以使用gpssh命令对所有机器进行批量操作了

4.将软件分发到每一台机器上

将安装后的文件打包

tar -cf gp4.1.tar greenplum-db-4.1.1.1/

使用gpscp命令将这个文件复制到每一台机器上

gpscp -f /home/gpadmin/conf/hostlist gp4.1.tar =:/opt/greenplum

使用gpssh命令批量解压文件包

=> cd /opt/greenplum

=> tar -xf gp4.1.tar

创建数据库数据目录
- Master目录

=> mkdir -p /home/gpadmin/gpdata/gpmaster
  • Primary节点目录
=> mkdir -p /home/gpadmin/gpdata/gpdatap1
=> mkdir -p /home/gpadmin/gpdata/gpdatap2
  • Mirror节点目录
=> mkdir -p /home/gpadmin/gpdata/gpdatam1
=> mkdir -p
/home/gpadmin/gpdata/gpdatam2

Gpmaster目录保存Master的数据，么个机器上的gpdatap1、gpdatap2分别对应这个机器上的两个主数据节点目录，gpdatam1、gpdatam2对应备数据节点目录

5.配置~/.bash_profile

修改环境变量
添加内容

source /opt/greenplum/greenplum-db/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/home/gpadmin/gpdata/gpmaster/gpseg-1
export PGPORT=2345
export PGDATABASE=testDB

6.初始化Greenplum的配置文件

配置文件的模板可以在$GPHOME/docs/cli_help/gpconfigs/目录下找到。gpinitsystem_config文件是初始化Greenplum的模板，在这个模板中，Mirror Segment的配置都被注释掉了，模板中基本初始化数据库的参数都是有的。

# 数据库的代号
ARRAY_NAME = "Greenplum"
MACHINE_LIST_FILE=/home/gpadmin/conf/seg_hosts
# Segment的名称前缀
SEG_PREFIX=gpseg
# Primary Segment骑士的端口号
PORT_BASE=33000
# 指定Primary Segment的数据目录
declare -a DATA_DIRECTORY=(/home/gpadmin/gpdata/gpdatap1 /home/gpadmin/gpdata/gpdatap2)
# Master 所在机器的Hostname
MASTER_HOSTNAME=mdw
# 指定Master的数据目录
MASTER_DIRECTORY=/home/gpadmin/gpdata/gpmster
# Master的端口
MASTER_PORT=2345
# Bash版本
TRUSTED_SHELL=/usr/bin/ssh
# 字符集
ENCODING = UNICODE
# Mirror Segment起始的端口号
MIRROR_PORT_BASE=43000
# Primary Segment 主备同步的起始端口号
REPLICATION_PORT_BASE=34000
#Mirror Segment主备同步的起始端口号
MIRROR_REPLICATION_PORT_BASE=44000
# Mirror Segment的数据目录
declare -a MIRROR_DATA_DIRECTORY=(/home/gpadmin/gpdata/gpdatam1 /home/gpadmin/gpdata/gpdatam2)

7.初始化数据库

使用gpinitsystem脚本初始化数据库

gpinitsystem -c initgp_config -s sdw3

登陆Greenplum默认的数据库postgres

[gpadmin@dw-greenplum-1 ~]$ psql -d postgres

创建数据库

createdb testDB -E utf-8

没有设置PGDATABASE环境变量时，使用psql进行登录，默认的数据库与操作系统用户名一致

设置环境变量，修改默认登陆数据库

[gpadmin@dw-greenplum01 ~]$ export PGDATABASE=testDB
[gpadmin@dw-greenplum01 ~]$ psql

数据库启动与关闭

1.启动数据库

Greenplum提供脚本来管理数据库，gpstart是启动数据库的脚本，可以用gpstart -help查看帮助

一般使用

gpstart -a

直接启动数据库

2.关闭数据库

gpstop是关闭数据库的脚本

一般使用

gpstop -a

直接关闭数据库

畅游Greenplum

访问Greenplum

1.psql

psql是Greenplum/PostgreSQL默认的客户端

使用psql远程连接

admin@test1:、home/admin>psql -h 10.20.151.7 -p 2345 -d testDB -U gpadmin

Greenplum有权限控制，并不是所有的及其都可以连接到数据库。如果有其他计算机要登陆Greenplum，先为数据库用户gpadmin创建一个密码，然后在pg_hba.conf文件中增加客户端机器的权限配置，就可以成功登陆了。

testDB=# alter role gpadmin with password 'gpadmin';

在$MASTER_DATA_DIRECTORY/pg_hba.conf文件中增加

host testDB gpadmin 10.20.151.1/32 md5

使配置生效

gpstop -u

2.pgAdmin

…

基本语法

1.获取语法介绍

可以使用 \h 查看GreenPlum支持的所有语法
在psql中使用\h command

testDB=# \h create view

2.CREATE TABLE

与其他数据库不同的地方：
- 在Greenplum中建表时需要指定表的分布键
- 如果表需要用某个字段分区，可以通过partition by将表建成分区表
- 可以使用like操作创建与like的表一样结构的表，功能类似 create table t1 as select * from t2 limit 0
- 可以使用inherits实现表的继承

CREATE [[GLOBAL|LOCAL] {TEMPORARY|TEMP}] TABLE table_name (
    [
        {
            column_name data_type [DEFAULT default_expr]
            [column_constraint [...]]
            | table_constraint
            | LIKE ohter_table [{INCLUDING|EXCLUDING} {DEFAULTS|CONSTRAINTS} ...]
        }
        [,...]
    ]...
)
[INHERITS (parent_table [,...])]
[WITH (storage_parameter=value [,...])
[ON COMMIT {PRESERVE ROWS|DELETE ROWS|DROP}]
[TABLESPACE tablespace]
[DISTRIBUTED BY (column,[...]) | DISTRIBUTED RANDOMLY]
[PARTITION BY partition_type (column)
    [SUBPARTITION BY partition_type (column)]
        [SUBPARTITION TEMPLATE (template_spec)]
    [...]
    (partition_spec)
        |[SUBPARTITION BY partition_type(column)]
         [...]
    (partition_spec)
        [(subpartition_spec
            [(...)]
        )]
]

Greenplum是一个分布式数据库，有两种数据分布策略：
1. Hash分布。指定一个活多个分布键，计算hash值，并且通过hash值路由到特定的Segment节点上，语法为Distributed by(…)。如果不指定分布键，默认将第一个字段作为分布键。
2. 随机分布，也叫平均分布。数据随机分散在每一个节点中，这样无论数据是什么内容，都可以平均分布在每个节点上，==但是在执行SQL的过程中，关联等操作都需要将数据重分布，性能较差。==语法为在表字段定义的后面加上Distributed randomly

采用随机分布策略的表默认将主键或唯一键作为分布键，因为每一个Segment都是一个单一的数据库，单个的数据库可以保证唯一性，多个数据库节点就无法保证全局的跨库唯一性，故只能按照唯一键分布，同一个值的数据都在一个节点上，以此来保证唯一性。

==如果指定的分布键与主键不一样，那么分布键会被更改为主键。==

使用like创建的表，只是表结构会与原表一模一样，表的一些特殊属性并不会一样，例如亚索、只增 appendonly等。如果不指定分布键，则默认分布键与原表相同。

3.SELECT

SELECT语句的基本语法跟其他数据库类似，也有自己的一些特性，例如分页采用offset加limit操作

SELECT可以不用指定From字句，如执行函数、进行一些简单的科学计算等。

如果不加order by字句，查询的结果中，数据的顺序是不能够保证的。

4.create table as 与 select into

create table as 与 select into 有一样的功能，都可以使表根据直接执行SELECT的结果创建出一个新的表，这个在临时分析数据的时候十分方便。例如，在创建一个表的时候如果默认不指定分布键，那么Greenplum根据执行SELECT得到的结果集来选择，不用再次分重分布数据的字段作为表的分布键。

也可以手动加入distributed关键字，指定分布键，这样数据就会根据指定分布键再建表。

select into的语法比create table as更简单，虽然功能一样，但是执行select into不能指定分布键，只能使用默认的分布键。

5.explain

explain用于查询一个表的执行计划。

testDB=# explain select * from test1 x,test2 y where x.id=y.id;

6.insert/update/delete

insert

在执行insert语句的时候，注意分布键不要为空，否则分布键默认会变成null，数据都被保存在一个节点上，造成数据分布不均。

可以批量操作

testDB=# insert into test001 values(100,'tom'),(101,'lily');
update

不能批量对分布键执行update，因为对分布键执行update需要将数据重分布，Greenplum暂时不支持这个功能。

delete

Greenplum 3.x版本中，如果delete操作涉及子查询，并且子查询的结果还会涉及数据重分布，这样的删除语句会报错。

对整张表执行Delete较慢，有此需求时建议使用truncate

7.truncate

与oracle一样，执行truncate直接删除表的物理文件，然后创建新的数据文件。truncate操作比delete操作在性能上有非常大的提升，当前如果有sql正在操作这张表，那么truncate操作会被锁住，知道表上面的所有锁被释放

常用数据类型

Greenplum的数据类型基本与PostgreSQL的一样。

1.数值类型

类型名称存储空间描述范围
smallint2字节小范围整数-32 768~+32 767
integer4字节常用的整数-2 147 483 648~+2 147 483 647
bigint8字节大范围的整数-9 223 372 036 854 775 808~9 223 372 036 854 775 807
decimal变长用户声明精度，精确无限制
numeric变长用户声明精度，精确无限制
real4字节变精度，不精确6位十进制数字精度
double precision8字节变精度，不精确15位十进制数字精度
serial4字节自增整数1 - 2 147 483 647
bigserial8字节大范围的自增整数1 - 9 223 372 036 854 775 807

2.字符类型

类型名称描述
character varying(n),varchar(n)变长，有长度限制
character(n),char(n)定长，不足补空白
text变长，无长度限制

3.时间类型

类型名称存储空间描述最低值最高值时间精度
timestamp[(p)][without time zone]8字节日期和时间4713BC5874897AD1毫秒
timestamp[(p)] with time zone8字节日期和时间，带时区4713BC5874897AD1毫秒
interval[(p)]12字节时间间隔-178 000 000年178 000 000年1毫秒
date4字节只用于表示日期4713BC5 874 897AD1天
time[(p)][without time zone]8字节只用于表示一日内的时间00:00:0024:00:001毫秒
time[(p)] with time zone12字节只用于表示一日内时间，带时区00:00:00+145924:00:00-14591毫秒

常用函数

字符串函数

函数返回类型描述例子结果
string||stringtext字符串连接
length(string)intstring中字符的数目length(‘jose’)4
position(substring in string)int指定的子字符串的位置position(‘om’in’Tomas’)3
substring(string[from int][for int])text抽取子字符串substring(‘Thomas’from 2 for 3)hom
trim([leading|trailing|both][characters]from string)text从字符串string的开头/结尾/两边删除只包含characters中字符（默认是空白）的最长的字符串trim(both ‘x’ from ‘xTomxx’)Tom
lower(string)text把字符串转化为小写
upper(string)text把字符串转化为大写
overlay(string placing string from int [for int])text替换子字符串overlay(‘Txxxxas’ placing ‘hom’ from 2 for 4)Thomas
replace(string text,from text,to text)text把字符串string中出现的所有子字符串from替换成子字符串toreplace(‘abcdefabcdef’,’cd,’XX’)abXXefabXXef
split_part(string text, delimiter text,filed int)text根据delimiter分隔string返回生成的第field个子字符串（1开始）split_part(‘abc|def|ghi’,’|’,2)def

时间函数

函数返回类型描述例子结果
age(timestamp,timestamp)interval减去参数后的”符号化”结果age(timestamp’2001-04-10’,timestamp’1957-06-13)43 years 9 mons 27 das
age(timestam)interval从current_date减去参数中的日期age(timestam’1957-06-13)-
current_datedate当前的日期--
current_timetime with time zone当日时间--
current_timestamptimestamp with time zone当前事务开始时的事件戳--
date_part(text,timestamp)double precision获取子域（等效于extract)date_part(‘hour’,timestamp’2001-02-16 20:38:40)20
date_trunc(text,timestamp)timestamp截断成指定的精度date_trunc(‘hour’,timestamp ‘2001-02-16 20:38:40’)2001/2/16 20:00
extract(field from timestamp)double precision获取子域（同date_part）（同date_part）
now()timestampe with time zone当前事务开始的时间戳--

使用interval类型可以直接对事件类型进行计算，用来计算时间的加减

数值计算函数

函数返回类型描述例子结果
abs(x)(与x相同)绝对值--
ceil(dp或numeric)\ceiling(与输入相同)不小于参数的最小整数--
exp(dp或numeric)(与输入相同)自然指数--
ln(dp或numeric)(与输入相同)自然对数--
log(dp或numeric)(与输入相同)以10 为底的对数--
log(b numeric,x numeric)numeric以b为底的对数--
mod(y,x)(与参数类型相同)y/x的余数--
pi()dpπ--
power(a numeric,b numeric)numerica的b次幂--
radians(dp)dp把角度转为弧度--
random()dp0~1之间的随机数
floor(dp或numeric)(与输入相同)不大于参数的最大整数--
round(v numeric,s int)numeric圆整为s位小数round(42.4382,2)42.44
sign(dp或numeric)(与输入相同)参数的符号(-1,0,+1)sing(-8,4)-1
sqrt(dp或numeric)(与输入相同)平方根--
cbrt(dp)dp立方根--
trunc(v numeric,s int)numeric截断为s位小数--

其他常用函数

序列号生成函数——generate_series
generate_series(x,y,t)

生成多行数据从x到另外y，步长为t，默认是1

字符串列转行——string_agg
string_agg(str,symbol [order by str])

（按照某字段排序）将str列转行，以symbol分隔

字符串行转列——regexp_split_to_table

…

hash函数——md5，hashbpchar

md5的hash算法精度为128位，返回一个字符串
Hashbpchar的精度是32位，返回一个integer类型

分析函数

开窗函数

聚合函数返回各个分组的结果，开窗函数则为每一行返回结果。

rank()、row_number

grouping sets

如果需要对几个字段的组合进行group 不用，需要用到grouping sets功能

group sets语法等价的普通SQL的语法
SELECT C1,C2,SUM(C3)FROM T GROUP BY GROUPING SETS((C1),(C2))SELECT C1,NULL AS C2,SUM(C3) FROM T GROUP BY T UNION ALL SELECT NULL AS C1,C2,SUM(C3) FROM T GROUP BY YEAR
GROUP BY GROUPING SETS((C1,C2,…Cn))GROUP BY C1,C2,…,Cn
GROUP BY ROLLUP(C1,C2,…,Cn-1,Cn)GROUP BY GROUPING SETS((C1,C2,…CCn-1,Cn),(C1,C2,…,Cn-1)…,(C1,C2),(C1),())
GROUP BY CUBE(C1,C2,C3)GROUP BY GROUPING SETS((C1,C2,C3),(C1,C2),(C1,C3),(C2,C3),(C1),(C2),(C3),())

分区表

Greenplum支持分区表。

可以使用时间分区、Every分区、list分区、

创建分区表

[PARTITION BY partition_type (column)
    [SUBPARTITION BY partition_type (column)]
        [SUBPARTITION TEMPLATE (template_spec)]
    [...]
    (partition_spec)
        |[SUBPARTITION BY partition_type(column)]
         [...]
    (partition_spec)
        [(subpartition_spec
            [(...)]
        )]
]
and partition_element is:

DEFAULT PARTITION name
| [PARTITION name] VALUES (list_value[,...])
| [PARTITION name]
    START ([datatype] 'start_value') [INCLUSIVE|EXCLUSIVE]
    [ END ([datatype] 'end_value') [INCLUSIVE|EXCLUSIVE]
    [ EVERY ([datatype] [number|INTERVAL] 'interval_value')]
| [PARTITION name]
    END ([DATATYPE] 'end_value') [INCLUSIVE|EXCLUSIVE]
    [ EVERY ([datatype] [number|INTERVAL] 'interval_value')]
    [ with (partition_storage_parameter=value [,...])]
    [ TABLESPACE tablespace]
Tips

通过实验得到：向主表插入数据时，数据会被自动存放至相应的分区表。
也可以直接向分区子表插入符合条件的数据，
当向分区子表插入不符合条件的额数据时，会提示：
[Err] ERROR: Trying to insert row into wrong partition (seg1 hadoop3:40000 pid=6679)
DETAIL: Expected partition: test_partition_range_1_prt_p20111231, provided partition: test_partition_range_1_prt_p20111230

删除主表是会自动删除关联的分区表

Examples
按时间分区
create table public.test_partition_range(
  id numeric,
  name character varying(32),
  dw_end_date date,
) distributed by(id)
PARTITION BY range(dw_end_date)
(
    PARTITION p20111230 START ('2011-12-30'::date) END ('2011-12-31'::date),
    --...
);
使用Every分区
create table test.test_partition_every(
  id numeric,
  name character varying(32),
  dw_end_date date
) distributed by(id)
partition by range(dw_end_Date)
(
  partition p201112 start('2011-12-1'::date) end ('2011-12-31'::date)
  every ('1 days'::interval)
);
使用list分区
create table test.test_partition_list(
  member_id numeric,
  city character varying(32)
)distributed by (member_id)
partition by list(city)
(
  partition guangzhou values('guangzhou'),
  partition hangzhou values('hangzhou'),
  default partition other_city
);

修改分区表

ALTER DEFAULT PARTITION
DROP DEFAULT PARTITION [IF EXISTS]
DROP PARTITION [IF EXISTS] {
  partition_name
  | FOR (RANK(number))
  | FOR (value)
}
[CASCADE]
TRUNCATE DEFAULT PARTITION
TRUNCATE PARTITION {
  partition_name
  | FOR (RANK(number))
  | FOR (value)
}
RENAME DEFAULT PARTITION TO new_partition_name
RENAME PARTITION {
  partition_name
  | FOR (RANK(number))
  | FOR (value)
}
TO new_partition_name
ADD DEFAULT PARTITION NAME [(subpartition_spec)]
ADD PARTITION [name] partition_element
  [(subpartition_spec)]
EXCHANGE PARTITION {
  partition_name
  | FOR (RANK(number))
  | FOR (value)
} WITH TABLE TABLE_NAME
  [WITH|WITHOUT VALIDATION]
EXCHANGE EFAULT PARTITION WITH TABLE TABLE_NAME
  [WITH|WITHOUT VALIDATION]
SET SUBPARTITION TEMPLATE (subpartition_spec)
SPLIT DEFAULT PARTITION {
    AT (list_value)
  |START([datatype] range_value) [INCLUSIVE|EXCLUSIVE]
   END ([datatype]) range_value) [INCLUSIVE|EXCLUSIVE]
}
[INTO (PARTITION new_partition_name,
       PARTITION default_partition_name)]
SPLIT DPARTITION {
  partition_name
  | FOR (RANK(number))
  | FOR (value)
} AT(value)
[INTO (PARTITION partition_name, PARTITION partition_name]
Examples
新增分区
alter table test.test_partition_every add partition p20120105_6
start ('2012-01-05'::date) END ('2012-01-07'::date);
drop/truncate分区
alter table test.test_partition_every drop partition p20120105_6;

alter table test.test_partition_every truncate partition p20120105_6;
拆分分区
alter table test.test_partition_every split partition p20120105_6
at(('2012-01-06'::date)) into (partition p20120105,partition p20120106);
交换分区
alter table test.test_partition_every exchange partition p20120102 with table test.test_on_partition;

外部表

Greenplum在数据加载上有一个明显的优势，就是支持数据并发加载，gpfdist就是并发加载的工具，在数据库中对应的就是外部表。

外部表就是一张表的数据是指向数据库之外的数据文件的。在Greenplum中，可以对一个外部表执行正常的DML操作，当读取数据的时候，数据库就从数据文件中加载数据。外部表支持在Segment上并发的告诉从gpfdist导入数据，由于是直接从Segment上导入数据，所以效率非常高。

创建外部表

CREATE [READABLE] EXTERNAL TABLE TABLE_NAME
(column_name data_type [,...] | LIKE other_table)
LOCATION ('file://seghost[:port]/path/file' [,...])
  | ('gpfdist://filehost[:port]/file_pateern' [,...])
  | ('gphdfs://hdfs_host[:port]/path/file')
FORMAT 'TEXT'
[( [HEADER]
   [DELIMITER [AS] 'delimeter' | 'OFF']
   [NULL [AS] 'null string']
   [ESCAPTE [AS] 'escape'|'OFF']
   [NEWLINE [AS] 'LF'|'CR'|'CRLF']
   [FILL MISSING FIELDS] )]
| 'CSV'
[( [HEADER]
   [QUOTE [AS] 'quote']

外部表需要指定gpfdist的IP和端口，详细目录地址。其中文件名支持通配符匹配。
可以编写多个gpfdist的地址，但是不能超过总的Segment数，否则会报错。在创建外部表的时候可以指定分隔符、err表、指定允许出错的数据条数，以及源文件的字符编码等。

外部表还支持本地文本文件的导入，效率较低，不建议使用。
外部表还支持HDFS的文件操作。

启动gpfdist及创建外部表

1.

首先在文件服务器上启动gpfdist服务，指定文件目录及端口

nohup $GPHOME/bin/gpfdist -d /home/admin -p 8888 > /tmp/gpfdist.log 2>&1 &

nohup保证程序在Server端执行，当前会话关闭后，程序仍然正常运行

nohup是Unix/Linux中的一个命令，普通进程通过&符号放到后台运行，如果启动该程序的额控制台退出，则该进程终止。nohup命令启动程序，则在控制台退出后，进程仍然继续运行，起到守护进程额作用。

2.

准备好需要加载的数据文件，将其放在外部表文件及其的、home/admin/目录或该目录的子目录下，在Greenplum中创建对应的外部表

create external table test.test001_ext(
  id integer,
  name varchar(128)
)
location (
  'gpfdist://10.20.151.11:8888/gpextdata/test001.txt'
)
format 'TEXT' (delimiter as E'|' null as '' escape 'OFF')
encoding 'gb18030' log errors into test.test001_err segment reject limit 10rows;
3.外部表查询及数据加载
testDB=# select * from public.test001_ext

COPY命令

使用COPY命令可以实现将文件导出和导入，但是要通过Master，效率没有外部表高，但是在数据量比较小的情况下，COPY命令比外部表要方面很多。

COPY table [(colum [, ...]) ] FROM {'file'|STDIN}
[ [WITH]
  [OIDS]
  [HEADER]
  [DELIMITER [AS] 'delimeter']
  [NULL [AS] 'null string']
  [ESCAPE [AS] 'escape' | 'OFF']
    [NEWLINE [AS] 'LF'|'CR'|'CRLF']
  [CSV [QUOTE [AS] 'quote']
    [FORCE NOT NULL column [,...]]
  [FILL MISSING FIELDS]
  [ [LOG ERRORS INTO error_table] [KEEP]
     SEGMENT REJECT LIMIT count [ROWS|PERCENT]]
COPY {table [(column [,...])] |(query) } TO {'file'|STDOUT}
  [ [WITH]
    [OIDS]
    [HEADER]
    [DELIMIETER [AS] 'delimeter']
    [NULL [AS] 'null string']
    [ESCAPE [AS] 'escape'|'OFF']
    [CSV [QUOTE [AS] 'quote']
         [FORCE QUOTE column [,...]]]

Greenplum 4.x中引入了可写外部表，在导出数据的时候可以用可写外部表并发导出，性能很好。但在Greeplum3.x版本中，导出数据只能通过COPY命令实现，数据在Master上汇总导出。

如果需要将数据远程导出到其他机器上，可以使用copy to stdout，远程执行psql连接到数据库上，然后通过管道将数据重定向成文件。

在咖啡里溺水的鱼
关注
  • 7
    点赞
  • 踩
  • 59
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
在Centos7上安装greenplum 6
03-21
centos7.*安装greenplum6.*的详细过程 注意： 1、仅适用于centos7，其他操作系统版本，本文档可能执行出问题 2、按照操作步骤说明，严格在master上执行或是segment上执行 3、过程中如果中断退出，继续执行是出现命令不存在，请再次执行 source /usr/local/greenplum-db/greenplum_path.sh（使环境变量生效）
如何评估Greenplum master 空间以及segment元数据占用的空间.
weixin_33985507的博客
04-06 607
Greenplum master节点是用来存储元数据的，包括 : 序列，表，临时表，分区，函数，视图，类型，操作符，规则，触发器 等。 segment 上也会存储部分元数据， 序列，表，临时表，函数，视图，类型，操作符，规则，触发器 等。 master比segment更多的信息包括： 分布策略，分区表，以及一些特殊的配置元数据。 gp_d...
Greenplum用户和权限管理
h6lkj的专栏
03-05 315
Greenplum用户和权限管理
GPDB · 特性分析 · Segment 修复指南
weixin_34344677的博客
04-21 209
问题背景 GPDB是中央控制节点式的架构，在一个 GreenPlum 集群中，有一个 Master 节点和多个 Segment 节点。Master 是中央控制节点，Segment 是数据存放节点。所有的Segment节点平等，均由Master管理。架构如下图： GreenPlum架构图 当GP Master出现问题的时候，可以通过外部的HA监控模块发...
GreenPlum学习总结
qq_44119575的博客
01-28 524
GreenPlum学习总结一、测试环境二、安装步骤三、常用命令1.配置2.使用四、insert性能优化参考链接： 一、测试环境 linux版本 greenplum Ubuntu18.04 6.13.0 点击这里官网下载 二、安装步骤 1.创建用户和组gpadmin sudo groupadd -g 530 gpadmin #创建用户组 sudo useradd -g 530 -u 530 -m -d /home/gpadmin -s /bin/bash gpadmin #创建用户，并指定
Greenplum部署
Anubis000000的博客
07-05 879
一、环境准备 1.1 机器准备 所有主机：配置ip、修改主机名，将所有节点ip和主机名一 一对应写入/etc/hosts文件。 [root@master ~]# tail -4 /etc/hosts 192.168.122.183 master 192.168.122.101 standby 192.168.122.206 segment1 192.168.122.89 segment2...
mysql导入greenplum_mysql迁移到greenplum sql改造总结
weixin_29798025的博客
01-19 516
greemplum的计算内核是postgresql，所有下面总结的几点也适用于mysql迁移到postgresql1、时间格式化mysql: select DATE_FORMAT(now(),'%Y%m%d%H%i%s') =>20160720035809 获取一个日期的年月日小时分钟秒字符串 注：%H表示24小时制GP： to_char(now(), 'YYYYMMDDHH24MISS'...
Greenplum中的函数
朝着梦想 渐行前进
10-21 5994
Functions Greenplum postgresql
SQL使用技巧(4.2)Greenplum和PostgreSQL日期时间函数
LMTX069的博客
04-09 2194
Greenplum和PostgreSQL的日期时间函数
greenplum常用函数-基础
10-08
gp常用的建表语句，修改新增字段等常见操作，以及时间函数转换和case，基本函数使用，和具体表中遇到的问题。 ps:借用了其他同学的部分总结
greenplum6.10安装时缺失的fpm包
最新发布
03-29
无论是在centOS7环境中安装，还是在红帽7环境中安装，总是存在部分rpm找不到 上面的包中包含了这两部分确实缺失的所有rpm（ps：我在安装过程中出现的缺失，全部找到了之后放在了这部分里面）！！！！
Greenplum数据库基础培训new.ppt
11-21
Greenplum数据库基础培训new.ppt
greenplum安装、扩容、缩容、HA
10-22
Greenplum的安装部署文档，里面包括具体的gp的安装、部署、扩容、缩容、HA高可用的详细实施步骤。
greenplum获取建表语句_greenplum通过函数获取指定用户下的所有建表语句
weixin_35589827的博客
12-30 1024
函数实现--获取数据库大小CREATE OR REPLACE FUNCTION get_dbsize(dbname varchar)RETURNS VARCHAR AS$FUNCTION$DECLAREisExists varchar;dbsize varchar;databasename varchar;BEGINselect datname into databasename from pg...
Greenplum（一） 基本特性 Master Segment
是个好男人的博客
05-18 2183
参考：https://blog.csdn.net/weixin_33754913/article/details/85830010 1.介绍 Greenplum的高性能得益于其良好的体系结构。Greenplum的架构采用了MPP（大规模并行处理）。Greenplum是一种基于PostgreSQL的分布式数据库，其采用的Shared-Nothing架构（MPP），主机、操作系统、内存、存储都是自我控制的，不存在共享。 2.基本特性 GPDB既支持行存，也支持列存。还为不需更...
Greenplum 体系架构 Master Segment
是个好男人的博客
07-09 1332
1.Greenplum 体系架构 Greenplum架构图如下： Greenplum 由三部分组成：Mastert、Segment、Interconnect。 （1）Master 访问系统的入口 数据库侦听进程 (postgres) 处理所有用户连接 建立查询计划explain 协调工作处理过程 管理工具 系统目录表和元数据（数据字典） 不存放任何用户数据，所以性能瓶颈不在Master节点上 （2）Segment .
greenplum为master和segment添加mirror
yimenglin的博客
11-08 806
greenplum为master添加mirror 本文章是在已存在的 greenplum 系统添加standby master 节点， 如果gp系统没安装，请先安装gp系统 文档请参考greenplum 安装指导 启用master 镜像 这个可以在greenplum 系统初始化的时候使用gpinitsystem添加 ， 本文介绍的主要是 对已经存在的greenplum 系统添加standb...
greenplum中 master向segment发送命令过程
qq_37517281的博客
06-26 295
把所有segment组成一个gang 清理之前的错误信息和通信信息 尝试发送（cdbdisp_dispatchToGang_async） 通过pqFlush真正发送消息，新旧版本的pg用了不同的通信协议，新协议是在每个命令前加一个字符做为命令类型的标识（可能一次发不完，可能发多次） 把已经收到的各QE消息告知（打印至）前端 检查发送完成情况（cdbdisp_waitDispatchFinish_async） 先flush没发完的信息或空信息发送出去，并把socket记录下来 poll 轮询每个记录.
Greenplum安装手册
小布袋
04-23 844
Greenplum安装手册 GP安装手册 问题补充： 问题一： 1、交换秘钥，建立信任，命令报错：gpssh-exkeys:未找到命令 解决办法：（执行这个的前提是正确执行了安装包解压后并建立连接） 或者：安装 ssh 客户端：yum install openssh-clients 问题二：执行greenplum的bin文件过程中提示 gzip:stdin:unexpected end of f...
Greenplum安装
05-28
安装 Greenplum 数据库可以分为以下几个步骤： 1. 下载 Greenplum 数据库安装包 可以从官方网站下载 Greenplum 数据库安装包，也可以从其他可靠的来源下载。 2. 安装依赖包 在安装 Greenplum 数据库之前，需要安装一些依赖包。具体依赖包的安装方法和版本号可以在 Greenplum 官方文档中查看。 3. 安装 Greenplum 数据库 将下载的 Greenplum 数据库安装包解压缩，并运行安装脚本。安装过程中需要指定一些配置参数，例如安装路径、数据目录、端口号等。 4. 初始化 Greenplum 数据库集群 安装完成后，需要初始化 Greenplum 数据库集群。初始化过程会创建数据库集群的元数据和系统表。 5. 启动 Greenplum 数据库 初始化完成后，就可以启动 Greenplum 数据库了。启动命令为： ``` gpstart ``` 6. 创建数据库和用户 启动 Greenplum 数据库之后，可以使用 psql 命令行工具创建数据库和用户。 以上是 Greenplum 数据库的安装步骤，具体操作可以参考 Greenplum 官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值