greenplum安装实验

第1章  配置要求与环境设置

 

1.1  Linux操作系统级参数

分别修改各主机hosts文件(3台主机完全相同)

vi /etc/hosts

127.0.0.1       localhost

 

192.168.10.177  mdw-ext

192.7.1.251     mdw-1 mdw

192.7.2.251     mdw-2

192.7.3.251     mdw-3

192.7.4.251     mdw-4

 

192.7.1.1       sdw1-1 sdw1

192.7.2.1       sdw1-2

192.7.3.1       sdw1-3

192.7.4.1       sdw1-4

 

192.7.1.2       sdw2-1 sdw2

192.7.2.2       sdw2-2

192.7.3.2       sdw2-3

192.7.4.2       sdw2-4

1.2  网络配置

确认各主机网卡配置正确

/etc/sysconfig/network   suse

/etc/sysconfig/network-scripts   redhat

各网卡分别对应文件ifcfg_eth[0,1,2,3]

	Master		Segment1		Segment2
Eth0	192.7.1.251	mdw-1 mdw	192.7.1.1	sdw1-1 sdw	192.7.1.2	sdw2-1 sdw2
Eth1	192.7.2.251	mdw-2	192.7.2.1	sdw1-2	192.7.2.2	sdw2-2
Eth2	192.7.3.251	mdw-3	192.7.3.1	sdw1-3	192.7.3.2	sdw2-3
Eth3	192.7.4.251	mdw-4	192.7.4.1	sdw1-4	192.7.4.2	sdw2-4
Ext	192.168.10.177

 

 

1.3  Linux操作系统级参数

1.3.1   修改/etc/sysctl.conf文件

Greenplum每台Master和Segment主机/etc/sysctl.conf中的下列参数

kernel.sem = 250 64000100 512

kernel.shmmax = 500000000

kernel.shmmni = 4096

kernel.shmall = 4000000000

kernel.sem = 250 64000100 512

kernel.sysrq = 1

kernel.core_uses_pid = 1

kernel.msgmnb = 65536

kernel.msgmax = 65536

net.ipv4.tcp_syncookies = 1

net.ipv4.ip_forward = 0

net.ipv4.conf.default.accept_source_route =0

net.ipv4.tcp_tw_recycle=1

net.ipv4.tcp_max_syn_backlog=4096

net.ipv4.conf.all.arp_filter = 1

net.ipv4.conf.default.arp_filter = 1

net.core.netdev_max_backlog=10000

vm.overcommit_memory=2

1.3.2   修改/etc/security/limits.conf文件

Greenplum每台Master和Segment主机/etc/security/limits.conf中的如下参数：

* soft nofile 65536

* hard nofile 65536

* soft nproc 131072

* hard nproc 131072

 

1.3.3  设置磁盘预读/etc/init.d/after.local (redhat : /etc/rc.local )

DELL

配置文件中放置blockdev --setra 16384 /dev/sd*

重启服务器，检查   blockdev --getra /dev/sd*

HP

配置文件中放置      blockdev --setra 16384/dev/cciss/c?d?*

重启服务器，检查  blockdev --getra/dev/cciss/c?d?*

1.3.4   修改io算法/boot/grub/menu.lst

结尾处添加elevator=deadline

重启后，执行cat /sys/block/*/queue/scheduler，返回内容中含有

[deadline]

1.3.5   配置ntp服务

 

1.3.6         安装xfs文件系统

master节点主机上，将/dev/sdb磁盘格式化成xfs文件信息，并mount到/data下

segment节点主机上，将/dev/sdb磁盘格式化成xfs文件信息，并mount到/data1下

segment节点主机上，将/dev/sdc磁盘格式化成xfs文件信息，并mount到/data2下

 

查看磁盘文件系统及使用情况df -Th

master节点

格式化磁盘为xfs文件系统

mkfs -t xfs /dev/sdb

mkdir -p /data/master

添加mount选项到/etc/fstab文件

/dev/sdb             /data                xfs        logbufs=8,noatime,nodiratime 1 1

segment节点

mkfs -t xfs /dev/sdc

mkdir –p /data1/primary

mkdir –p /data2/mirror

添加mount选项到/etc/fstab文件

/dev/sdb             /data1               xfs        logbufs=8,noatime,nodiratime 1 1

/dev/sdc             /data2               xfs        logbufs=8,noatime,nodiratime 1 1

1.4  用户及其主目录

	用户	home目录	安装目录	数据目录
Master	gpadmin	/home/gpadmin	/usr/local/greenplum-db	/data/master
Segment1	gpadmin	/home/gpadmin	/usr/local/greenplum-db	/data1/primary
Segment2	gpadmin	/home/gpadmin	/usr/local/greenplum-db	/data1/primary

在master节点上创建gpadmin用户及数据目录

groupadd gpadmin

useradd -g gpadmin -d /home/gpadmin

mkdir /data/master

chown -R gpadmin:gpadmin /data/master

修改/home/gpadmin/.bash_profile文件

.bash_profile  linux系统

.bashrc       suse系统

添加如下内容

source/usr/local/greenplum-db/greenplum_path.sh

export MASTER_DATA_DIRECTORY=/data/master/gpseg-1

在所有segment节点上创建gpadmin用户及数据目录

方法一：分别在各个segment节点上创建gpadmin用户和数据目录

ssh sdw1

groupadd gpadmin

useradd -g gpadmin -d /home/gpadmin

passwd gpadmin

mkdir /data1/ primary

chown -R gpadmin:gpadmin /data1/primary

 

ssh sdw2

groupadd gpadmin

useradd -g gpadmin -d /home/gpadmin

passwd gpadmin

mkdir /data1/ primary

chown -R gpadmin:gpadmin /data1/primary

 

方法二：使用gp命令安装。

1、  使用gp命令安装之前需要先在master上安装好gp数据库软件。

2、  创建root用户等效性

创建文件all_hosts包含所有主机相关网卡信息

vi all_hosts

mdw-1

mdw-2

mdw-3

mdw-4

sdw1-1

sdw1-2

sdw1-3

sdw1-4

sdw2-1

sdw2-2

sdw2-3

sdw2-4

    执行环境变量

source /usr/local/greenplum-db/greenplum_path.sh

交换密钥

gpssh-exkeys  -f  all_hosts

等效性验证

gpssh  -f all_hosts

3、  gpssh到所有节点统一执行

创建文件all_segs其中只包含各节点主机名

vi all_segs

sdw1

sdw2

gpssh -f all_segs

groupadd gpadmin

useradd -g gpadmin -d /home/gpadmin

passwd gpadmin

mkdir /data1/ primary

chown -R gpadmin:gpadmin /data1/primary

4、  创建gpadmin用户等效性

在master节点上执行以下命令

su - gpadmin

交换密钥

gpssh-exkeys  -f  all_hosts

等效性验证

gpssh  -f all_hosts

第2章  系统校验

2.1  校验操作系统

创建文件vi hostfile_gpcheck

mdw

sdw1

sdw2

root 用户执行

source/usr/local/greenplum-db/greenplum_path.sh

gpcheck -f /home/gpadmin/gpconfigs/hostfile_gpcheck-m mdw

 

2.2  校验系统性能

 

•Network Performance (gpnetbench*)

按subnet分别测试每个网段

vi hostfile_gpchecknet

mdw-1

sdw1-1

sdw2-1

gpcheckperf -f hostfile_gpchecknet  -r N -d /tmp

 

•Disk I/O Performance (dd test)

•Memory Bandwidth (stream test)

创建文件vi hostfile_gpcheckperf

sdw1

sdw2

$ gpcheckperf -f hostfile_gpcheckperf -rds -D  -d /data1/primary -d/data2/primary \

-d /data1/mirror -d /data2/mirror

 

第3章  Linux环境安装指南

3.1  在master节点上安装数据库软件

root用户解压安装包并执行安装

unzip greenplum-db-4.1.1.3-build-4-RHEL5-x86_64

./greenplum-db-4.1.1.3-build-4-RHEL5-x86_64.bin

 

默认安装路径为/usr/local/greenplum-db

3.2  安装数据库软件到所有segment节点

# gpseginstall -f all_segs

3.3  初始化gp数据库

在安装目录（/usr/local/greenplum-db/docs/cli_help/gpconfigs）下找到初始化配置模版（gpinitsystem_config），修改模版中参数为如下

ARRAY_NAME="EMC Greenplum DW"

SEG_PREFIX=gpseg

PORT_BASE=40000

declare -a DATA_DIRECTORY=(/data1/primary/data1/primary /data1/primary /data1/primary)

MASTER_HOSTNAME=mdw

MASTER_DIRECTORY=/data/master

MASTER_PORT=5432

TRUSTED SHELL=ssh

CHECK_POINT_SEGMENT=8

ENCODING=UNICODE

#MIRROR_PORT_BASE=50000   # optional

#REPLICATION_PORT_BASE=41000 # optional

#MIRROR_REPLICATION_PORT_BASE=51000 #optional

#declare -a MIRROR_DATA_DIRECTORY=(/data2/mirror /data2/mirror/data2/mirror /data2/mirror) # optional

MACHINE_LIST_FILE=/home/gpadmin/gpconfigs/all_segs

gpadmin用户执行如下命令初始化数据库

gpinitsystem -c gpinitsystem_config

3.4  修改用户认证和并发限制

vi /data/master/gpseg-1/ pg_hba.conf

添加如下内容，允许任意网段的通过任意用户通过密码验证连接任意数据库（或者根据安全需要修改成其他认证方式）

host    all         all             0.0.0.0/0           md5

 

vi /data/master/gpseg-1/ postgresql.conf

master节点

max_connections=100

max_prepared_transactions=100

segment节点

max_connections=500

max_prepared_transactions=100

 

重启数据库

第4章  Performance Monitor的安装

4.1  安装PerformanceMonitor database 并且 激活 PerformanceMonitor agents

在gpadmin用户下执行如下命令并重启数据库

$ su – gpadmin

$gpperfmon_install --enable --password p@$$word --port 5432

$ gpstop -r

查看gpperfmon数据库是否正常创建

$ ps -ef | grep gpmmon

$ psql gpperfmon -c 'SELECT * FROMsystem_now;'

4.2  安装 PerformanceMonitor Console

unzip greenplum-perfmon-web-4.1.1.3-build-4-RHEL5-x86_64.zip

./greenplum-perfmon-web-4.1.1.3-build-4-RHEL5-x86_64.bin

默认安装路径为/usr/local/greenplum-perfmon-web-4.1.1.4-build-4

# chown -R gpadmin:gpadmin /usr/local/greenplum-perfmon-web-4.1.1.4-build-4

将环境变量加到/home/gpadmin/.bashrc中

source /usr/local/greenplum-perfmon-web-4.1.1.4-build-4/gpperfmon_path.sh

执行如下命令根据提示进行控制台配置

$ gpperfmon –setup

$ gpperfmon --start ["instancename"]

$ gpperfmon --stop ["instancename"]

$ gpperfmon --restart ["instancename"]

$ gpperfmon --status ["instancename"]

Access website

https://localhost:28080/