Greenplum数据库安装手册 V1.0

最新推荐文章于 2024-06-11 10:07:10 发布
最新推荐文章于 2024-06-11 10:07:10 发布
阅读量1w 收藏 2
点赞数
分类专栏： greenplum
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdnhsh/article/details/95784260
版权

 

一，安装准备

 

1.1基础准备

名称

安装文件

备注

中文补丁

fonts-chinese-3.02-12.el5.noarch.rpm

 

FTP服务器

vsftpd-1.1.3-8.i386.rpm

可选，方便于文件存取

XFS文件系统补丁

kmod-xfs-0.4-2.x86_64.rpm

Greenplum推荐在LINUX上使用XFS文件系统，在SOLARIS上使用ZFS文件系统。

xfsprogs-2.9.4-1.el5.centos.x86_64.rpm

ETA YS257589补丁

kernel-2.6.18-194.26.1.el5.tar

安装说明：

Sysstat安装包

sysstat-7.0.2-11.el5.x86_64.rpm

可选，安装后可使用iostat、sar等监控命令

nmon监控工具

nmon

选择指定版本，拷贝到/bin目录下即可运行

Rpm类型系统补丁文件采用rpm工具安装，举例：

rpm -ivhfonts-chinese-3.02-12.el5.noarch.rpm

如果需要检查该补丁是否已经安装，同样适用rpm工具检查：

rpm -qafonts-chinese-3.02-12.el5

 

1.1.2   Greenplum安装介质（参考）

GP安装介质需要从共享盘上下载对应的版本。

名称

安装文件

备注

Greenplum主安装包

greenplum-db-4.1.1.3-build-4-RHEL5-x86_64.bin

安装前请先确定所要安装的具体版本。

Greenplum Web Monitor工具安装包

greenplum-perfmon-web-4.1.1.1-build-1-RHEL5-x86_64.bin

同上

 

1.1.3   操作系统建议

Segment节点建议不安装X-Windows, Gnome, KDE, and Printers。

 

 

1.2安装前准备

Greenplum数据库系统常见的拓扑图如上图所示，由Master主机和Segment主机组成。Master主机和Segment主机之间会组成一个内部网络（LAN）。为了充分发挥Greenplum数据库并行处理的性能，对网络带宽要求较高。服务器会配置多个网卡，内部网需要配置多个网段的IP。需要对外连接的服务器需配置外部IP。

建议在Greenplum数据库系统安装之前，把网络配置规划好。

 1.5   存储空间规划

首先，需要评估目标数据库数据所需要的空间容量。建议了解客户搭建Greenplum数据库的具体应用。

举例：估计数据库所需空间为U，数据库需要启用Mirror，磁盘阵列总可用空间为D（Raid之后）。空间规划服务和如下公式：

2 * U + U / 3 = D * 70%

磁盘空间D平均分配到各个Segment服务器上。

Master需要相应的空间。使用服务器内置硬盘的计算方式类似。

 

1.1.6   数据库实例规划

规划每个Segment服务器上建立的数据库实例的数量（instance数量），通常建议每2个CPU内核（core）对应一个数据库实例。

如：2*4核CPU的服务区，可配置4个实例。

 

1.3操作系统准备

1.3.1修改主机名

修改各台主机的主机名称。一般建议的命名规则如下：

Master：mdw

Standby Master：smdw

Segment Host：sdw1、sdw2……sdwn

修改操作：

1、hostname mdw

2、修改 /etc/sysconfig/network 配置文件中的hostname

 

1.3.2修改/etc/hosts文件

通常Master和Standby Master主机都配置外部IP和内部IP。Segment主机可只配置内部IP。所有主机的hosts文件内容必须保持一致。

如下为配置例子：

21.104.138.21    mdw-ext1

192.168.1.254   mdw-1 mdw

192.168.2.254   mdw-2

192.168.3.254   mdw-3

192.168.4.254   mdw-4

192.168.5.254   mdw-5

192.168.6.254   mdw-6

 

21.104.138.22    smdw-ext1

192.168.1.253   smdw-1 smdw

192.168.2.253   smdw-2

192.168.3.253   smdw-3

192.168.4.253   smdw-4

192.168.5.253   smdw-5

192.168.6.253   smdw-6

 

21.104.138.23   sdw1-ext1     loghost

192.168.1.1   sdw1-1 sdw1

192.168.2.1   sdw1-2

192.168.3.1   sdw1-3

192.168.4.1   sdw1-4

192.168.5.1   sdw1-5

192.168.6.1   sdw1-6

 

21.104.138.24    sdw2-ext1

192.168.1.2   sdw2-1 sdw2

192.168.2.2   sdw2-2

192.168.3.2   sdw2-3

192.168.4.2   sdw2-4

192.168.5.2   sdw2-5

192.168.6.2   sdw2-6

 

21.104.138.25    sdw3-ext1

192.168.1.3   sdw3-1 sdw3

192.168.2.3   sdw3-2

192.168.3.3   sdw3-3

192.168.4.3   sdw3-4

192.168.5.3   sdw3-5

192.168.6.3   sdw3-6

 

21.104.138.26   sdw4-ext1

192.168.1.4   sdw4-1 sdw4

192.168.2.4   sdw4-2

192.168.3.4   sdw4-3

192.168.4.4   sdw4-4

192.168.5.4   sdw4-5

192.168.6.4   sdw4-6

 

1.3.3关闭相关服务

【涉及机器】：所有服务器

关闭防火墙

service iptables save

service iptables stop

chkconfig iptables off

service ip6tables save

service ip6tables stop

chkconfig ip6tables off

 

1.3.4修改系统参数（Redhat）

【涉及机器】：所有服务器

使用root用户进行修改，重启后生效。

1.3.5修改系统参数/etc/sysctl.conf

（Sysctl是一个允许您改变正在运行中的Linux系统的接口。它包含一些 TCP/IP 堆栈和虚拟内存系统的高级选项）

kernel.shmmax =500000000

kernel.shmmni = 4096

kernel.shmall =4000000000

kernel.sem = 250 512000100 2048

kernel.sysrq = 1

kernel.core_uses_pid =1

kernel.msgmnb = 65536

kernel.msgmax = 65536

net.ipv4.tcp_syncookies= 1

net.ipv4.ip_forward = 0

net.ipv4.conf.default.accept_source_route= 0

net.ipv4.tcp_tw_recycle= 1

net.ipv4.tcp_max_syn_backlog= 4096

net.ipv4.conf.all.arp_filter= 1

net.ipv4.conf.default.arp_filter= 1

net.core.netdev_max_backlog= 10000

vm.overcommit_memory =2

kernel.msgmni = 2048

net.ipv4.ip_local_port_range= 1025 65535

 

1.3.6修改系统参数/etc/security/limits.conf

（ Linux PAM（插入式认证模块，Pluggable Authentication Modules）中 pam_limits.so 的配置文件）

* soft nofile 65536

* hard nofile 65536

* soft nproc 131072

* hard nproc 131072

 

1.3.7修改磁盘预读参数

在参数文件/etc/rc.d/rc.local中增加

DELL：blockdev --setra 16384 /dev/sd*  （红色部分为硬盘设备标识）

HP：blockdev --setra 16384 /dev/cciss/c?d?*

 

1.3.8修改配置/boot/grub/menu.lst

（Deadline scheduler 用 deadline 算法保证对于既定的 IO 请求以最小的延迟时间，从这一点理解，对于 DSS 应用应该会是很适合的）

增加elevator=deadline

 

1.3.9修改配置/etc/sysconfig/language

增加RC_LANG=en_US.UTF-8

 

 

1.4启动IPMI服务

（IPMI（Intelligent Platform Management Interface）即智能平台管理接口是使硬件管理具备“智能化”的新一代通用接口标准。如果没有安装相关服务，建议安装）

service ipmi start

chkconfig ipmi on

 

1.5修改启动配置

修改/etc/inittab

id:3:initdefault:  （修改运行级别为3，多用户命令行模式）

 

1.6关闭非必要的服务

chkconfig avahi-daemonoff

chkconfigavahi-dnsconfd off

chkconfig conman off

chkconfig bluetooth off

chkconfig cpuspeed off

chkconfigsetroubleshoot off

chkconfig hidd off

chkconfig hplip off

chkconfig isdn off

chkconfig kudzu off

chkconfig yum-updatesdoff

 

二，       建立数据目录

2.1 Linux系统采用XFS文件系统

2.1.1 Master 和Standby Master主机

1、分区及格式化：

mkfs.xfs  /dev/sda3    或者   mkfs -t xfs /dev/sda3

mkdir -p  /data/master   （Master数据目录）

 

2、在/etc/fstab文件中增加

/dev/sda3/data xfs rw,noatime,inode64,allocsize=16m 1 1

 

2.1.2 Segment 主机

1、分区及格式化：

mkfs.xfs  /dev/sda2    或者   mkfs -t xfs /dev/sda2

mkfs.xfs  /dev/sdb2

 

mkdir /data1  （Segment数据目录，可根据实例和分配空间不同规划不同的目录）

mkdir /data2

 

2、在/etc/fstab文件中增加

/dev/sda2/data1 xfs rw,noatime,inode64,allocsize=16m 1 1

/dev/sdb2/data2 xfs rw,noatime,inode64,allocsize=16m 1 1

 

三，       Solaris系统采用ZFS文件系统

zpool create -f data \

raidz c1t2d0 c1t3d0c1t4d0 c1t5d0 c1t6d0 c1t7d0 \

raidz c1t9d0 c1t10d0c1t11d0 c1t12d0 c1t13d0 c1t14d0 \

spare c1t8d0 c1t15d0

 

zfs createdata/gpdb_master

zfs create data/local

zfs setmountpoint=/usr/local data/local

 

 

四，        Master安装Greenplum

4.1运行安装文件

【安装机器】：Master主机

如果是压缩文件则先解压：

unzip greenplum-db-4.1.1.3-build-4-RHEL5-x86_64.zip

/bin/bash greenplum-db-4.1.1.3-build-4-RHEL5-x86_64.bin

 

安装完成后修改root用户home的~/.bashrc配置文件，增加

source /usr/local/greenplum-db/greenplum_path.sh

 

4.2配置hostname文件（用于建立多机信任）

建议：在安装目录下新建gpconfigs目录。

1、包含所有master和segment主机名和别名的文件。

all_hosts:

mdw

mdw-1

mdw-2

mdw-3

mdw-4

mdw-5

mdw-6

smdw

smdw-1

smdw-2

smdw-3

smdw-4

smdw-5

smdw-6

sdw1

sdw1-1

sdw1-2

sdw1-3

sdw1-4

sdw1-5

sdw1-6

sdw2

sdw2-1

sdw2-2

sdw2-3

sdw2-4

sdw2-5

sdw2-6

sdw3

sdw3-1

sdw3-2

sdw3-3

sdw3-4

sdw3-5

sdw3-6

sdw4

sdw4-1

sdw4-2

sdw4-3

sdw4-4

sdw4-5

sdw4-6

 

2、包含所有segment主机名和别名的文件。

all_segs:

sdw1

sdw1-1

sdw1-2

sdw1-3

sdw1-4

sdw1-5

sdw1-6

sdw2

sdw2-1

sdw2-2

sdw2-3

sdw2-4

sdw2-5

sdw2-6

sdw3

sdw3-1

sdw3-2

sdw3-3

sdw3-4

sdw3-5

sdw3-6

sdw4

sdw4-1

sdw4-2

sdw4-3

sdw4-4

sdw4-5

sdw4-6

 

3、包含所有master和segment的单一主机名。

all_hosts_single:

mdw

smdw

sdw1

sdw2

sdw3

sdw4

 

4、包含standby master和所有segment的单一主机名。

stby_all_segs_single:

smdw

sdw1

sdw2

sdw3

sdw4

 

5、包含所有segment的单一主机名。

all_segs_single:

sdw1

sdw2

sdw3

sdw4

 

五，        建立多机信任

5.1 root用户建立多机信任

source /usr/local/greenplum-db/greenplum_path.sh

建立多机信任：

gpssh-exkeys -f ./all_hosts

 

5.2 建立用户和组

gpssh -f ./all_hosts

=>groupadd -g 3030gpadmin

=>groupadd -g 3040gpmon

=>useradd -u 3030 -ggpadmin -m -s /bin/bash gpadmin 

=>useradd -u 3040 -ggpmon -m -s /bin/bash gpmon

=>echo gpadmin |passwd  gpadmin --stdin

=>echo gpmon |passwd  gpmon --stdin

=>chown -Rgpadmin:gpadmin /data  （修改数据目录用户和组）

 

 

5.3 修改gpadmin用户配置

【Master和Standby Master主机】：

修改 ~/.bashrc文件，添加如下内容：

source /usr/local/greenplum-db/greenplum_path.sh

MASTER_DATA_DIRECTORY=/data/master/gpseg-1

exportMASTER_DATA_DIRECTORY   （gpstart默认启动的目录）

 

【Segment主机】：

修改 ~/.bashrc文件，添加如下内容：

source /usr/local/greenplum-db/greenplum_path.sh

 

 

5.4 gpadmin用户建立多机信任

使用gpadmin用户在Master主机上操作

gpssh-exkeys -f ./all_hosts

 

六，        时钟同步

使用root用户进行操作，涉及所有服务器。

Greenplum推荐使用NTP（Network Time Protocol）同步各台主机的时钟。建议设置一台独立的时钟服务器。

1、Master服务器配置与时钟服务器同步。修改配置文件/etc/ntp.conf后，启动ntpd服务。

举例：

配置文件增加：server 10.6.220.20

启动服务：

service ntpd start

chkconfig ntpd on

如果没有独立的时钟服务器，则应该以Master服务器做内部的时钟服务器，Master就可以不用修改ntp.conf配置文件，直接启动ntpd服务即可。

2、所有Segment服务器优先与Master服务器同步，其次与Standby Master服务器同步。修改配置文件/etc/ntp.conf后，重启ntpd服务。

配置文件增加：

server mdw prefer

server smdw

启动服务：

service ntpd start

chkconfig ntpd on

3、Standby Master服务器优先与Master服务器，其次与始终服务器同步。修改配置文件/etc/ntp.conf后，重启ntpd服务。

配置文件增加：

server mdw prefer

server 10.6.220.20  （时钟服务器举例）

启动服务：

service ntpd start

chkconfig ntpd on

如果没有独立的时钟服务器，第二行不用配置。

4、检查时钟同步结果（需要等几分钟，时钟才会自动同步）

gpssh -f ./all_hosts_single

=>date   （查看各台服务器时间是否一致）

 

七，        其他机器安装Greenplum

7.1方法一（4.0版本以上支持，推荐使用）

在Master主机上，使用root用户操作：

gpseginstall -f ./all_hosts_single-p gpadmin

 

7.2方法二（4.0版本一下使用）

在Master主机上，使用root用户操作：

cd /usr/local （安装目录）

tar -cvf /usr/local/gp.tar greenplum-db-3.3.7.6  （tar安装文件目录）

gpscp -f ./stby_all_segs_single /home/gpadmin/gp.tar =:/usr/local

 

gpssh -f ./stby_all_segs_single

=>tar --directory /usr/local -xvf /usr/local/gp.tar

=>ls /usr/local/greenplum-db-3.3.7.6

=>ln -s /usr/local/greenplum-db-3.3.7.6 /usr/local/greenplum-db

=>chown -Rgpadmin:gpadmin /usr/local/greenplum-db

=>rm /usr/local/gp.tar

 

 

八，       系统检查

在Master上使用gpadmin用户登录执行系统检查

8.1参数配置检查

gpcheck -f /usr/local/greenplum-db/gpconfigs/all_hosts_single -mmdw -s smdw

核对并修改下你感应系统参数。

 

8.2性能检查

8.2.1网络性能检查

gpcheckperf -f /usr/local/greenplum-db/gpconfigs/all_hosts_single -rN -d /tmp > checknetwork.out

 

8.2.2磁盘性能检查

gpcheckperf -f /usr/local/greenplum-db/gpconfigs/all_hosts_single -rds -D -d /data1/primary -d /data2/primary -d /data1/mirror-d /data2/mirror > checkio.out

检查磁盘IO的目标目录是数据库的数据文件目录，测试工具会写入系统内存的两倍大小的数据量。

 

九，始化数据库

在Master上使用gpadmin用户登录执行系统检查

9.1配置文件

请注意，Greenplum3.x版本和4.x版本的初始化配置文件格式存在差异，配置时建议从$GPHOME/docs/cli_help/gpconfigs/ 目录中获取样例文件，然后进行修改。

9.1.1Greenplum4.x版本

获取配置文件样例：

cp $GPHOME/docs/cli_help/gpconfigs/gpinitsystem_config  $GPHOME/gpconfigs/

 

修改配置文件：

ARRAY_NAME="YSGreenplum DW"

SEG_PREFIX=gpseg

PORT_BASE=40000

declare -aDATA_DIRECTORY=(/data1 /data1 /data1 /data1)    //主实例

MASTER_HOSTNAME=mdw    //主机名

MASTER_DIRECTORY=/data/master

MASTER_PORT=5432

TRUSTED SHELL=ssh

CHECK_POINT_SEGMENT=8

ENCODING=UNICODE

MIRROR_PORT_BASE=50000

REPLICATION_PORT_BASE=41000

MIRROR_REPLICATION_PORT_BASE=51000

declare -aMIRROR_DATA_DIRECTORY=(/data2 /data2 /data2 /data2)    //备实例

MACHINE_LIST_FILE=/usr/local/greenplum-db/gpconfigs/all_segs  //segment主机列表文件

 

9.1.2 Greenplum3.x版本

获取配置文件样例：

cp $GPHOME/docs/cli_help/gpconfigs/gp_init_config  $GPHOME/gpconfigs/

 

修改配置文件：

ARRAY_NAME="GreenplumDatabase"

MACHINE_LIST_FILE=/usr/local/greenplum-db/gpconfigs/all_segs（segment列表文件）

SEG_PREFIX=gp

PORT_BASE=50000

declare -aDATA_DIRECTORY=(/data/primary /data/primary/data/primary /data/primary)

MASTER_HOSTNAME=mdw

MASTER_DIRECTORY=/data/master

MASTER_PORT=5432

TRUSTED_SHELL=ssh

CHECK_POINT_SEGMENTS=8

ENCODING=UNICODE

MIRROR_PORT_BASE=60000  （启动Mirror实例）

declare -aMIRROR_DATA_DIRECTORY=(/data/mirror /data/mirror/data/mirror /data/mirror)

 

9.2初始化数据库

gpinitsystem -c /usr/local/greenplum-db/gpconfigs/gpinitsystem_config-s smdw

如果数据库初始化失败，则使用初始化过程中生成的一个Backout脚本清除安装失败留下垃圾文件和目录（不一定能成功）。

~/gpAdminLogs/backout_gpinitsystem_<user>_<timestamp>

 

9.3修改访问权限

修改Master数据目录（MASTER_DATA_DIRECTORY）下pg_hba.conf文件。需要了解客户实际情况，有多少客户端的IP地址以及角色需要访问数据库。举例如下：

host     all        gpadmin         10.32.38.0/16          trust

      数据库名       角色名          客户端IP范围      认证方法

数据库名：可指定具体的数据库名称，也可使用all；

角色名：可指定具体的数据库角色名称，也可使用all；

IP范围格式：IP 地址/CIDR，如：10.32.38.0/16；255.0.0.0表示 IPv4 CIDR 掩码长度 8，255.255.255.0表示 IPv4 CIDR 掩码长度 24，而 255.255.255.255 表示 CIDR 掩码长度 32；32就表示指定IP，24就表示小子网。

修改完后数据库重载参数文件：

gpstop -u

 

九，        安装Performance Monitor

9.1安装PerformanceMonitor数据收集Agent

gpadmin用户执行如下步骤。

1、使用gpperfmon_install命令，Greenplum安装完成后已经包含该命令。安装后会建立名为gpperfmon的数据库，默认使用gpmon用户。命令行中红色部分为系统用户gpmon的密码。

gpperfmon_install--enable --password gpmon --port 5432

 

2、重启GP数据库

gpstop -r

 

3、确认监控采集进程是否已经启动。

ps -ef |grep gpmmon

 

4、确认Performance Monitor数据库写入数据是否正常，检查是否有记录写入。

psql -d gpperfmon -c'select * from system_now;'

 

5、拷贝Master主机拷贝配置文件到Standby Master的相应目录

gpscp -h smdw$MASTER_DATA_DIRECTORY/pg_hba.conf =:$MASTER_DATA_DIRECTORY/

gpscp -h smdw ~/.pgpass=:~/

 

9.2安装PerformanceMonitor控制台

Performance Monitor控制台通常安装在Master主机上，也可以安装到独立的服务器上。由于安装目录权限问题，建议先使用root用户执行。

1、运行安装包

安装包解压：

unzip greenplum-perfmon-web-4.1.1.3-build-4-RHEL5-x86_64.zip

运行安装文件：

/bin/bash greenplum-perfmon-web-4.1.1.3-build-4-RHEL5-x86_64.bin

Monitor安装目录属主修改：

chown -Rgpadmin:gpadmin /usr/local/greenplum-perfmon-web-4.1.1.3

 

2、修改Master主机root，gpadmin和gpmon用户的.bashrc配置，增加

source /usr/local/greenplum-perfmon-web-4.1.1.3/gpperfmon_path.sh

 

3、配置Performance Monitor控制台，首先切换到gpadmin用户

su - gpadmin

gpperfmon --setup

按照提示执行：

（1）输入实例名字，每次可设置一个实例，可多次设置。

（2）Master服务器是否远程服务器，如果安装在Master则选择”N”。

（3）输入显示名称。

（4）输入数据库端口号（默认5432）。

（5）输入Web Server端口号（默认28080）。

（6）设置SSL连接，选择Y。

（7）其他信息可选信息按实际填写。

 

4、启动Performance Monitor控制台

gpperfmon --start 或者

gpperfmon --start"实例名"

 

5、测试Performance Monitor前台连接

打开IE输入Performance Monitor控制台地址

https://mdw:28080/

 

 

 

 

十，       附录

10.1多次初始化

Greenplum数据库可以多次初始化，前提是每次初始化的数据目录（Master和Segment的数据目录）必须不相同。

gpstart和gpstop可以通过-d参数指定Master数据库目录，启动不同的数据库。如果不指定-d参数，系统则默认使用~/.bashrc文件中所设置的MASTER_DATA_DIRECTORY。

同时只能启动一个GP数据库。

 

10.2安装后修改数据库参数（非必要）

Greenplum数据库正常安装以后，数据库参数配置允许根据客户的实际情况进行修改。一般情况下不建议主动修改数据库参数。因此本步骤暂时放到附录中。

数据库参数修改方法是修改数据目录（MASTER_DATA_DIRECTORY）下的postgresql.conf配置文件。然后根据参数的定义，重新装载配置文件或者重启数据库。

说明：

Local是指每台服务器的配置文件都需要修改；

Master是指只需要在master主机上修改；

Restart是指需要重启数据库；

Reload是指运行gpstop –u重新装载配置参数即可。

参数名称

参数类型

参考值

设置说明

max_connections

integer

200

Local，restart

max_prepared_transactions

integer

200

Local，restart

gp_interconnect_setup_timeout

String

3min

Master，reload

max_fsm_pages

integer

200000

Local，restart

max_fsm_relations

integer

1000

Local，restart

gp_vmem_protect_limit

integer

8192

Local，restart

work_mem

String

32MB

Master，reload

stats_queue_level

boolean

off

Master，reload

 

10.3安装后数据测试

数据库安装完成后，需要进行数据库建立、数据装载、查询和关键SQL语句的测试。

1、创建数据库：createdb -T template1 testdb

2、启动gpfdist准备导数：

nohup gpfdist -p 8088-d /data/testdata -l /data/testdata/gpfdist_test.log &

启动后，检查gpfdist进程状态：

ps -ef |grep gpfdist

3、创建外部表和库表：

drop external table ifexists YS_CG_LOC_02_ext ;

create external table YS_CG_LOC_02_ext

(

N_ROWS   numeric(8),                         

SOURCE_TYPE VARCHAR(2),

CALL_TYPE       numeric(3),

IMSI_numeric  VARCHAR(15),

MSISDN   VARCHAR(19),

OTHER_PARTY          VARCHAR(11),

SDATE       timestamp,

STAT_DATE       numeric(8),                    

PERIOD_TIMEnumeric(2),      

CALL_DURATION     numeric(5),     

DURATION60   numeric(3),

DURATION6     numeric(4),     

MSRN       VARCHAR(11),

MSC VARCHAR(10),

LAC  VARCHAR(4),  

CELL_ID   VARCHAR(4),

OTHER_LAC     VARCHAR(4),  

OTHER_CELL_ID      VARCHAR(2),  

TRUNK_GROUPOUT         VARCHAR(7),  

TRUNK_GROUPIN   VARCHAR(7),

FILE_NO   VARCHAR(20),

STOP_CAUSE   VARCHAR(1),

ORIGIN_NO     VARCHAR(15),

DEAL_TIME      VARCHAR(10),

AREA_ID  numeric(7),

VISIT_AREA_ID        numeric(7),

CALLED_AREA_ID   numeric(7),

CALLED_VISIT_AREA_IDnumeric(7),

PURVIEW_AREA_ID         numeric(7),

ROAM_TYPE    numeric(1),

EDGE_FLAG     CHAR(1),

A_ASP       numeric(1),

A_BRAND_ID  char(2),

A_SERV_TYPE  VARCHAR(2),

TERM_TYPE     numeric(7),

B_SERV_TYPE  VARCHAR(2),

B_HOME_TYPE        CHAR(1),

OTHER_ASP     numeric(2),

C_SERV_TYPE  VARCHAR(2),

CARRIER_TYPE         numeric(4),

LONG_TYPE     numeric(9),

USER_ID  numeric(16),   

PAY_MODE       char(1),

CHANNEL_NO VARCHAR(4),

CFEE         numeric(7),

LFEE numeric(6),

OTHERFEE        numeric(5),

REAL_CFEE       numeric(7),

REAL_LFEE       numeric(6),

REAL_OTHERFEE     numeric(5),

FREETIME_ITEM      numeric(3),

FREETIME         numeric(6),

VPN_ID    varchar(16),

VPN_FLAG        CHAR(1),

FREE_CODE     VARCHAR(40),

FREETIME_ITEM2   numeric(3),

FREETIME2      numeric(5),

FREETIME_ITEM3   numeric(3),

FREETIME3      numeric(5),

FREETIME_ITEM4   numeric(3),

FREETIME4      numeric(4),

FILE_NAME      VARCHAR(36),

DAY_numeric   numeric(2),

ORIGIN_NO_AREA_ID     varchar(8),

ORIGIN_NO_ASP     char(2),

ORIGIN_NO_TERM_TYPE        varchar(7),

CDR_NO  varchar(3),

B_BRAND_ID  numeric(2),

B_SERVICE_TYPE2  CHAR(2),

FREE_CODE1   VARCHAR(10),

FREE_FEE1       numeric(5),

FREE_CODE2   VARCHAR(1),

FREE_FEE2       numeric(1),

FREE_CODE3   VARCHAR(1),

FREE_FEE3       numeric(1),

FREE_CODE4   VARCHAR(1),

FREE_FEE4       numeric(1),

CDR_TYPE        numeric(1),

IMEI          VARCHAR(16),

FIRST_CFEE      numeric(7),

FIRST_LFEE       numeric(6),

FIRST_OFEE      numeric(5),

TPREMARK       VARCHAR(89),

SERVICE_TYPE          VARCHAR(3),

SERVICE_CODE        VARCHAR(4),

RATE_IND         CHAR(1)

)LOCATION(                                         

    'gpfdist://mdw:8088/YS_CG_loc*.csv'

)                                                     

FORMAT 'csv' (delimiter',' null '')     

ENCODING 'GB18030'                                        

--LOG ERRORS INTO YS_CG_LOC_02_ext_errSEGMENT REJECT LIMIT 1000 ROWS;

 

drop table if exists YS_CG_LOC_02;

create table YS_CG_LOC_02( like YS_CG_LOC_02_ext)

with(appendonly=true,orientation=column,compresslevel=5,compresstype=zlib)

distributed by(MSISDN);

 

数据文件见附件：

 

4、导入数据测试：

insert into YS_CG_LOC_02select * from YS_CG_LOC_02_ext;

导入数据过程中可使用nmon命令监控Segment Host的IO情况以及CPU使用情况。

 

5、执行检查的查询操作：

select count(*) from YS_CG_LOC_02;

 

 

林震南
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Greenplum【部署 05】GP最新版本v6.20.3安装配置验证（内核参数+初始化参数说明）
Java与大数据相关实践内容分享！
04-22 1528
Greenplum【环境搭建 05】GP最新版本v6.20.3配置安装验证（内核参数+初始化参数说明）
greenplum数据库单机部署
a2226701325的博客
07-10 2344
系统环境：rhel-server-6.5-x86_64-dvd.iso 安装包:greenplum-db-4.3.14.0-rhel5-x86_64.zip 查询liunx虚拟机的ip地址 执行命令ifconfig -a 查询出虚拟机ip地位为:192.168.191.131 2.配置hosts解析 我所谓的单机模式是指将Master和segment安装在一台机器上，尝试了网上的各种配置发现并不成功，尤其是将mdw和sdw都解析成127.0.0.1的设置根本行不通。你可以尝试设置Maste.
二、GP安装笔记-系统环境配置
dockj的博客
03-20 850
一、配置主机ip映射 修改/etc/hostname配置文件，为每台服务器添加对应的主机名 ip地址|主机名 –|-- 10.100.203.140|kylin-203-140 10.100.203.117|kylin-203-117 10.100.203.122|kylin-203-122 10.100.203.130|kylin-203-130 使用hostname在每台服务器修改主机...
Greenplum 安装部署手册
最新发布
长安 故里
06-11 193
服务器列表。
Greenplum安装介绍
热门推荐
周天祥的博客
09-24 10万+
Greenplum安装介绍 基于Greenplum Hadoop- 分布式平台的大数据解决方案 03 - 安装Greenplum(1) 视频和PPT下载：https://download.csdn.net/download/u014646662/10684296 基于Greenplum Hadoop- 分布式平台的大数据解决方案04 - 安装Greenplum(2) 视频和PPT下载：ht...
Greenplum数据库安装包
02-26
在SuSe Linux环境下安装greeplumn的数据库包
GreenPlum 数据库集群安装说明及使用手册v1.0.docx
06-07
GreenPlum 数据库集群安装说明及使用手册v1.0
greenplum数据库驱动包
05-17
因用到greenplum数据库，maven没有在线包。网上找了下，资源不多。上传一个备用。如果是用maven维护jar，可以设置为本地加载。systemPath为本地项目下lib路径。 <groupId>lib.greenplum <artifactId>greenplum ...
greenplum数据库安装文档.docx
09-25
greenplum数据库安装文档
greenplum数据库jdbc驱动下载
11-04
"greenplum-jdbc-5.1.4.jar"是Greenplum数据库的JDBC驱动程序的一个版本，用于在Java环境中与Greenplum进行通信。 **Greenplum数据库** Greenplum是由Pivotal Software开发的一个高度可扩展的、并行处理的数据库...
GreenPlum数据库.ppt
06-16
【GreenPlum数据库详解】 GreenPlum数据库是一种高效的大数据处理平台，源于PostgreSQL开源数据库，但针对大规模并行处理（MPP）进行了优化。它提供了企业级的数据仓库解决方案，适用于大数据分析和处理。GreenPlum...
GreenPlum数据库详细安装过程【从Suse操作系统安装配置开始到GP数据安装完成
12-09
本文包括SUSE Linux Enterprise Server 11操作系统的安装，GP数据库中网络IP的配置规则，GP数据的安装全过程和配置过程。
greenplum 简介及数据库对比
08-21
greenplum 简介及数据库对比 。 greenplum hive infobright 对比。
Greenplum-db-4.2.2.4-build-1-CE-RHEL5-i386安装文件(验证绝对可用)
02-26
本Greenplum-db-4.2.2.4-build-1-CE-RHEL5-i386安装文件(经过本人亲自验证绝对可用)
greenplum 数据库的安装过程
07-21
本文档是经过实践安装，可以提供参考，为喜欢数据库的学员进行借鉴。
Greenplum数据仓库安装部署
11-11
Greenplum database，数据仓库安装部署介绍，帮助学习gp
greenplum安装方法详解
蝈蝈的博客
07-18 1万+
greenplum-db-4.2.2.4-build-1-CE-RHEL5-i386安装方法详解
Greenplum数据库安装部署
Taki的博客
09-16 2309
这两天接触了greenplum分布式数据库，发现挺有意思的，接下来将介绍如何安装丶部署greenplum数据库。读者在完成本篇阅读之后，可以根据本篇给出的步骤在自己的环境里快速搭建一个greenplum数据库系统。 软件版本centos7+gp-5.20.0 安装是以一个master node，以及两个segment node进行安装。 一丶配置要求 1.集群IP配置 192.168.64.129 （master） 192.168.64.130 （segment1） 192.168.64.131 （seg
Greenplum数据库安装与部署全面指南
Greenplum手册是一份详尽的指南，专注于Greenplum数据库的安装和维护，特别适用于V1.1中国建设银行北京数据中心的GP4.2.X和GP4.3.X版本。该文档旨在为用户提供具体的安装与配置步骤，以确保在硬件环境准备妥当，如...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值