Greenplum on Linux
网传的Greenplum安装教程多生搬硬套,很多不必要的东西也会列出来,导致环境的配置极其麻烦;官方的安装部署又显得太凌乱,100多页,让人难以消化。本文介绍了Greenplum分布式下的安装(Linux系统下:CentOS),教程精炼,是博主自己亲手搭建经历多次失败之后的总结,其中标注了多处细节,可大大提升安装者的安装成功率。
一. Greenplum 支持的操作系统
SuSE Linux SLES 10 update
CentOS 5.0 or higher
RedHat Enterprise Linux 5.0 or higher
Solars X86 v10 update 7 or higher
Mac OS 10.5 or higher
本教程的系统是CentOS 6.6,除了Mac OS 的配置有所区别,其他的系统可以参照本文进行部属。
二.调整参数
(1)编辑/etc/sysctl.conf,以下是最小配置(把没有的输进去,不一样的修改之)
vim /etc/sysctl.conf
kernel.shmmax = 500000000 kernel.shmmni = 4096 kernel.shmall = 4000000000 kernel.sem = 250 512000 100 2048 kernel.sysrq = 1 kernel.core_uses_pid = 1 kernel.msgmnb = 65536 kernel.msgmax = 65536 kernel.msgmni = 2048 net.ipv4.tcp_syncookies = 1 net.ipv4.ip_forward = 0 net.ipv4.conf.default.accept_source_route = 0 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_max_syn_backlog = 4096 net.ipv4.conf.all.arp_filter = 1 net.ipv4.ip_local_port_range = 1025 65535 net.core.netdev_max_backlog = 10000 net.core.rmem_max = 2097152 net.core.wmem_max = 2097152 vm.overcommit_memory = 2
(2)修改文件打开数等限制
编辑/etc/security/limits.conf,添加一下几行(注意*也需要添加) * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072
(3)在正式安装之前关闭防火墙(包括从节点)
检测防火墙
# /sbin/chkconfig --list iptables
关闭状态:iptables 0:off 1:off 2:off 3:off 4:off 5:off 6:off
使用以下命令关闭
/sbin/chkconfig iptables off
修改/etc/selinux/config文件
SELINUX=disabled
出现以下情形则关闭成功(每太机器都要关闭)
4.编辑/boot/grub/grub.conf
新增elevator=deadline
[root @bigdata03 ~]# more /boot/grub/grub.conf
...elevator=deadline crashkernel=auto ...
三、Linux环境下的安装
在此,我用的是VMware虚拟机,一共三台,一个主节点(mdw)两个从节点(sdw1,sdw2)
1. 在主节点上安装greenplum
(1)下载greenplum (没有特定centOS版本的,选择第一条即可)
https://network.pivotal.io/products/pivotal-gpdb#/releases/669/file_groups/348
(2)新建greenplum用户