生产系统安装Greenplum实例--多节点多网段模式

先说一点题外话，为什么要在这里写博客，为了得到大家的关注、认可，或是交流，其实这些目前都还没有达到，博客换了很多地方，从之前的杂言乱语，情绪抒发，到现在的记录点滴，其实这一切如果说当初有哗众取宠之意，那现在过往许久，只是记录自己生命中这个时段的点滴而已，其实汇总成文字的过程就是自己提炼总结的过程，在写的过程中你会发现你之前的很多碎片的东西可以串起来，就当是对自己的犒赏，写给自己，至于过客或喜或恶，只不过是过往云烟。

在实际的生产系统中，Greenplum的节点数目不会少，也就是说我们的物理机器也不会太少，否则发挥不出GP的优势，在之前的测试中，5个节点的GP（每台56G）与一台256G的Oracle的性能并没有差距太多，甚至在个别测试中，还不如oracle的性能好。因此机器多是必然，但是这就引出一个问题，这么多机器在安装和后续管理的时候，是不可能每台机器都登陆上去逐个检查配置等信息的，因此如何管理集群机器是分布式系统的一个非常关键的小知识点，好在PIVOTAL提供了类似gpscp、gpssh、gpseginstall等类似的辅助工具，极大方便了我们的工作。

环境说明：
1.我们是用了3台物理机虚拟除了6台配置一样的虚拟机（在生产系统中还没有看到类似的虚拟机方案，我们也是在机房机位紧张的情况下无奈做的尝试，建议还是物理机），每台机器65G内存 2T空间，系统安装的CentOS6.5
2.网络设置：如果环境允许，最好是万兆网络，我们的是千兆网络（没得选）
3.机器的网卡设置：
这点非常关键，我们尝试安装的第一次，就是默认每台机器只安装了一块网卡，因此每个虚拟机只能安装一个节点（其实单网卡也可以设置多个节点，但是数据也就只走这个网口），本次安装安装了双网卡，并在物理上配置在不同的网段并物理与不同的交换机连接（在支持VLAN的交换机上用VLAN分割），具体来说就是设置如下：
每台机器上设置eth0和eth1，分别在10和20网段，比如有6台机器分别设置如下：

10.0.10.66 dw66-if0
10.0.10.67 dw67-if0
10.0.10.68 dw68-if0
10.0.10.69 dw69-if0
10.0.10.70 dw70-if0
10.0.10.71 dw71-if0
10.0.20.40 dw66-if1
10.0.20.41 dw67-if1
10.0.20.42 dw68-if1
10.0.20.43 dw69-if1
10.0.20.44 dw70-if1
10.0.20.45 dw71-if1

这里66机器上有2个IP:10.0.10.66 和10.0.20.40分别对应eth0和eth1设置不同的hostname名，是为了保证数据按照不同的网口进行数据传输。

一、安装前准备

1.关闭selinux iptables
2.vi /etc/hosts 只修改master，稍后用gpscp操作

10.0.10.66 dw66-if0
10.0.10.67 dw67-if0
10.0.10.68 dw68-if0
10.0.10.69 dw69-if0
10.0.10.70 dw70-if0
10.0.10.71 dw71-if0
10.0.20.40 dw66-if1
10.0.20.41 dw67-if1
10.0.20.42 dw68-if1
10.0.20.43 dw69-if1
10.0.20.44 dw70-if1
10.0.20.45 dw71-if1

注意这里的hostname需要和if0名称一致，否则后面gpscp或者gpssh-exkey会出错
vi /etc/sysconfig/network修改机器名如66机器：dw66-if0
3.crontab -e

8 */2 * * * /usr/sbin/ntpdate asia.pool.ntp.org && /sbin/hwclock --systohc

4.vi /etc/security/limits.conf

*       soft    nofile  1048576
*       hard    nofile  1048576
*       soft    nproc   1048576
*       hard    nproc   1048576

在RHEL6.x版本还需要修改文件/etc/security/limits.d/90-nproc.conf

*       soft    nofile  1048576
*       hard    nofile  1048576
*       soft    nproc   1048576
*       hard    nproc   1048576

5.vi /etc/rc.d/rc.local

/sbin/blockdev --