greenplum安装与初始化(单机版)

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/gaijing814/article/details/83394203
greenplum安装与初始化(单机版)
一、系统安装与运行环境需求
   1.1操作系统环境
 RedHat Enterprise Linux 4.0
 Hostname:szamy
        momery:1.2G
        free disk:3G
  
  
二、系统安装与初始化
   2.1安装前准备
       1-在/etc/sysctl.conf 文件中加入有关共享内存与网络参数配置
     kernel.shmmax = 500000000
     kernel.shmmni = 4096
     kernel.shmall = 4000000000
     kernel.sem = 250 64000 100 512
     net.ipv4.tcp_tw_recycle=1
     net.ipv4.tcp_max_syn_backlog=4096
     net.core.netdev_max_backlog=10000
     vm.overcommit_memory=2 
      2-在/etc/security/limits.conf 中加入限制参数
    * soft nofile 65536
    * hard nofile 65536
    * soft nproc 131072
    * hard nproc 131072
3-创建一个包括所有segment机器名的hosts文件:
  seg_hosts与包括master与segment的机器名的hosts文件放在/home/gpadmin/下面。
  hosts中的文本是szamy,seg_hosts也是szamy
 
2.2Master主机上的安装配置
 2.2.1安装
 1-到greenplum网站下载安装文件,根据服务器与操作系统的类弄选相应的安装包
   下载网址:http://gpn.greenplum.com/download.php(注:要求注册后方可下载)。
 2-解压安装包:
   Unzip greenplum-db-3[1].2.3.0-RHEL4-i386.zip生成greenplum-db-3[1].2.3.0-RHEL4-i386.bin文件
 3-运行安转包:
   /bin/bash greenplum-db-3[1].2.3.0-RHEL4-i386.bin
   安装过程需要做license确认
   安装目录确认,默认是: /usr/local/greenplum-db-3.2.3.0
   安装完成
2.2.2配置
 1-创建greenplum用户:
    # useradd gpadmin
    # passwd gpadmin
    # New password: <gpadmin_password>
    # Retype new password: <gpadmin_password>  
 2-创建greenplum组(可选):
    # groupadd gpadmin
    # usermod -g gpadmin gp_user1
    # usermod -g gpadmin gp_user2
 3-创建greenplum_db像征目录(查看有没有,如果有不需要执行一下命令):
     ln -s  /usr/local/greenplum-db-3.2.3.0  /usr/local/greenplum-db
 4-改变greenplum安转目录的owner
    # chown -R gpadmin  /usr/local/greenplum-db
    # chgrp -R gpadmin  /usr/local/greenplum-db
 5-配置环境变量:
    将 /usr/local/greenplum-db/greenplum_path.sh中的内容加到/etc/profile里,
    同是追加到greenplum用户gpadmin的.bash_profile里.
 5-创建master主机上的数据存放目录:
    mkdir /home/gpadmin/gpdb_p1
    chown gpadmin /home/gpadmin/gpdb_p1
    chgrp gpadmin /home/gpadmin/gpdb_p1
  2.3在segment上安装配置greenplum数据库
 2.3.1安装
 1-改变root用户下的SSH keys
    # gpssh-exkeys -f /home/gpadmin/hosts(注:会要求输入每个segment的root用户的密码)  
 2-创建segment主机上的gpadmin用户(如果是在master和segment同一台机器上,不需要执行这一步):
    创建用户:# gpssh -f /home/gpadmin/seg_hosts
                '/usr/sbin/useradd gpadmin -d /home/gpadmin -s /bin/bash'
    密码修改:# gpssh -f /home/gpadmin/seg_hosts
                'echo "gpadmin_password" | passwd gpadmin -stdin'
 3-效验segment下用户被创建:
    # gpssh -f seg_hosts ls -l /home  
 4-改变gpadmin用户下的ssh keys
   $ su - gpadmin
   $ gpssh-exkeys -f /home/gpadmin/keyhosts(注:会要求输入gpadmin用户的密码)
 1-在root用户下创建安转包:
    # gtar -cvf /home/gpadmin/gp.tar  /home/gpadmin/greenplum-db-3.2.3.0
 2-从master主机上复制安装包到segment主机
    # gpscp -f /home/gpadmin/hosts /home/gpadmin/gp.tar =: /home/gpadmin
 3-session同步:   # gpssh -f /home/gpadmin/hosts
 4-在segment主机上解压安装文件
   => gtar -directory  /home/gpadmin -xvf  /home/gpadmin/gp.tar
 5-确认文件被正确安装:
   => ls  /home/gpadmin/greenplum-db-3.2.3.0
 6-创建greenplum_db像征目录:
   => ln -s  /home/gpadmin/greenplum-db-3.2.3.0  /home/gpadmin/greenplum-db
 7-改变segment主机上安转目录的owner
   => chown -R gpadmin  /home/gpadmin/greenplum-db
   => chgrp -R gpadmin  /home/gpadmin/greenplum-db
 8-删除segment上的压缩安装包
   => rm  /home/gpadmin/gp.tar
 2.3.2配置
 1:创建数据目录:
   => mkdir /home/gpadmin/data(主segment数据目录)
   => mkdir /home/gpadmin/data/gpdb_p0(第0个segment数据目录)
   => mkdir /home/gpadmin/data/gpdb_p1
   => mkdir /home/gpadmin/data/gpdb_p2
   => mkdir /home/gpadmin/data/gpdb_p3
   => mkdir /home/gpadmin/mdata(镜像segment数据目录)
   => mkdir /home/gpadmin/mdata/gpdb_p0
   => mkdir /home/gpadmin/mdata/gpdb_p1
   => mkdir /home/gpadmin/mdata/gpdb_p2
   => mkdir /home/gpadmin/mdata/gpdb_p3
 2:改变目录owner:
   => chown -R gpadmin /home/gpadmin/data
   => chgrp -R gpadmin /home/gpadmin/data
   => chown -R gpadmin /home/gpadmin/mdata
   => chgrp -R gpadmin /home/gpadmin/mdata
 4:退出gpssh
   => exit
 5:同步时钟:
    $ gpssh -f seg_hosts -v date
    $ gpssh -f seg_hosts -v ntpd
2.4系统性能效验
 1-运行gpcheckos 来检查刚配的segment机器的操作系统情况(如果是在master和segment同一台机器上,不需要执行这一步)
    gpcheckos -f /home/gpadmin/seg_hosts
 2-运行gpcheckos -h szamy 来检查master机器(如果是在master和segment同一台机器上,不需要执行这一步)。
 3-计算数据仓库存贮容量,磁盘做RAID10的情况:(U:user data)
    计算方法:(raw_capacity * .09) / 2 = formatted_disk_space
    如果做segment镜像的话,存贮容量: (2 * U) + U/3 = formatted_disk_space  
    如果不做segment镜像的话,容量为:  U + U/3 = formatted_disk_space  
 4-硬件性能效验(如果是在master和segment同一台机器上,不需要执行这一步):
     gpcheckperf -f /home/gpadmin/hosts -d /home/gpadmin/data1 -d /home/gpadmin/data2 -v 
 5-网络性能效验:
      gpchecknet -f /home/gpadmin/hosts -d /home/gpadmin/data1
      gpchecknet -f /home/gpadmin/hosts -r n -d /home/gpadmin/data1(测试最大,最小以及平均值等)
 2.5初始化系统
 1-复制一个配置文件模板
    $ cp $GPHOME/docs/cli_help/gp_init_config_example
         /home/gpadmin/gp_init_config
 2-修改配置参数 vi /home/gpadmin/gp_init_config
    注意下面的参数
    ARRAY_NAME="Greenplum"
    MACHINE_LIST_FILE=/home/gpadmin/seg_hosts
    SEG_PREFIX=gp
    PORT_BASE=50000
    declare -a DATA_DIRECTORY=
              (/home/gpadmin/data/gpdb_p0 /home/gpadmin/data/gpdb_p1
               /home/gpadmin/data/gpdb_p2 /home/gpadmin/data/gpdb_p3)
    MASTER_HOSTNAME=szamy #机器名
    MASTER_DIRECTORY=/home/gpadmin/gpdb_p1
    MASTER_PORT=5432
 3-运行配置文件初始化greenplum数据库
    $ gpinitsystem -c /home/gpadmin/gp_init_config
    如果有备份master服务器则
      $ gpinitsystem -c /home/gpadmin/gp_init_config -s standby_master_hostname
 4-将MASTER_DATA_DIRECTORY加入环境中
      修改gpadmin用户的.bash_profile以及/etc/profile,加入
      MASTER_DATA_DIRECTORY=/home/gpadmin/gpdb_p1/pg-1
      export MASTER_DATA_DIRECTORY
2.5启动服务(以gpadmin的身份启动):
   gpstart
2.6测试(以gpadmin的身份启动):
   psql postgres
  
 
chown -R gpadmin  /usr/local/greenplum-db
chgrp -R gpadmin  /usr/local/greenplum-db
 
GPHOME=/usr/local/greenplum-db-3.2.3.0
# Replace with symlink path if it is present and correct
if [ -L ${GPHOME}/../greenplum-db ]; then
    GPHOME_BY_SYMLINK=`(cd ${GPHOME}/../greenplum-db/ && pwd -P)`
    if [ x"${GPHOME_BY_SYMLINK}" = x"${GPHOME}" ]; then
        GPHOME=`(cd ${GPHOME}/../greenplum-db/ && pwd -L)`/.
    fi
    unset GPHOME_BY_SYMLINK
fi
PATH=$GPHOME/bin:$GPHOME/ext/python/bin:$PATH
LD_LIBRARY_PATH=$GPHOME/lib:$GPHOME/ext/python/lib:$LD_LIBRARY_PATH
export GPHOME
export PATH
export LD_LIBRARY_PATH

source /usr/local/greenplum-db/greenplum_path.sh

 

gtar -cvf /home/gpadmin/gp.tar  /usr/local/greenplum-db-3.2.3.0
gtar –-directory  /home/gpadmin -xvf  /home/gpadmin/gp.tar
ln -s  /home/gpadmin/greenplum-db-3.2.3.0  /home/gpadmin/greenplum-db
在linux服务器的数据库目录/home/gpadmin/gpdb_p1/gp-1,修改一下文件:
vi pg_hba.conf

host     all         gpadmin         192.168.123.180/32    trust
host     all         all             192.168.123.172/32    trust

修改postgresql.conf文件
vi postgresql.conf
#listen_addresses = 'localhost' -->#listen_addresses = '*'
 
 
psql -d dwdb -h 192.168.1.180 -p 5432 -U gpadmin
展开阅读全文

没有更多推荐了,返回首页