greenplum ubuntu16 集群安装

虚拟机vmware安装ubuntu16 一台,然后用克隆克隆出2台,一共三台

master主机上2个segment节点,segment主机上各2个segement节点

在Master安装

更改hostname gp-master

Java代码 收藏代码
echo ‘gp-master’ > /etc/hostname
新增三台主机的内网IP以及修改hostname

Java代码 收藏代码
echo ‘192.168.152.133 gp-master’ >> /etc/hosts
echo ‘192.168.152.131 gp-segment1’ >> /etc/hosts
echo ‘192.168.152.134 gp-segment2’ >> /etc/hosts
Java代码 收藏代码
apt-get update
新增用户gpadmin

添加gpadmin用户 设置密码gpadmin123

Java代码 收藏代码
adduser gpadmin
添加gpadmin到sudo用户列表

Java代码 收藏代码
echo ‘gpadmin ALL=(ALL:ALL) ALL’ >> /etc/sudoers
重启主机reboot后,切换到gpadmin

Java代码 收藏代码
su gpadmin
在gp-master上创建 /gpmaster /gpdata1 /gpdata2 文件夹

Java代码 收藏代码
mkdir /gpmaster /gpdata1 /gpdata2
开始安装相关依赖包,以及GP数据库

Java代码 收藏代码
cd ~
sudo apt-get install python-software-properties
sudo apt-get install software-properties-common
sudo add-apt-repository ppa:greenplum/db #添加PPA路径
sudo apt-get update #再次进行更新
sudo apt-get install greenplum-db-oss

以下操作在各个segment上分别进行

更改hostname gp-segment

Java代码 收藏代码
echo ‘gp-segment’ > /etc/hostname
新增两台主机的内网IP以及修改hostname

Java代码 收藏代码
echo ‘192.168.152.133 gp-master’ >> /etc/hosts
Java代码 收藏代码
echo ‘192.168.152.131 gp-segment1’ >> /etc/hosts
echo ‘192.168.152.134 gp-segment2’ >> /etc/hosts
Java代码 收藏代码
apt-get update

新增用户gpadmin

添加gpadmin用户 设置密码gpadmin123

Java代码 收藏代码
adduser gpadmin
添加gpadmin到sudo用户列表

Java代码 收藏代码
echo ‘gpadmin ALL=(ALL:ALL) ALL’ >> /etc/sudoers
重启主机reboot后,切换到gpadmin

Java代码 收藏代码
su gpadmin
在gp-master上创建 /gpdata1 /gpdata2 文件夹

Java代码 收藏代码
mkdir /gpdata1 /gpdata2
开始安装相关依赖包,以及GP数据库

Java代码 收藏代码
cd ~
sudo apt-get install python-software-properties
sudo apt-get install software-properties-common
sudo add-apt-repository ppa:greenplum/db #添加PPA路径
sudo apt-get update #再次进行更新
sudo apt-get install greenplum-db-oss

下载安装完成,接下来要执行秘钥交换,回到master主机 用户为gpadmin下进行ssh秘钥交换,首先加载环境变量

Java代码 收藏代码
source /opt/gpdb/greenplum_path.sh
这一步之后可以将/opt/gpdb/greenplum_path.sh中的所有内容复制到/etc/profile中,之后每次登录就可以通过source /etc/profile来解决greenplum环境变量的问题

Java代码 收藏代码
cd ~
cp $GPHOME/docs/cli_help/gpconfigs/gpinitsystem_singlenode .
touch hostlist_singlenode/etc/profile来解决greenplum环境变量的问题

Java代码 收藏代码
echo ‘gp-master’ >> hostlist_singlenode
echo ‘gp-segment1’ >> hostlist_singlenode
echo ‘gp-segment2’ >> hostlist_singlenode

进行秘钥交换

Java代码 收藏代码
gpssh-exkeys -f hostlist_singlenode
或者

Java代码 收藏代码
gpssh-exchkeys -f hostlist_singlenode
如果报错

Java代码 收藏代码
source /opt/gpdb/greenplum_path.sh
或者
source /etc/profile
hostlist_singlenode gpinitsystem_singlenode 是复制到 /opt/gpdb 目录下

gpinitsystem_singlenode中修改

MACHINE_LIST_FILE=./hostlist_singlenode

数据节点

declare -a DATA_DIRECTORY=(/gpdata1 /gpdata2)

主服务器名

MASTER_HOSTNAME=gp-master

master目录

MASTER_DIRECTORY=/gpmaster

将这些文件夹权限修改为gpadmin

在master上执行

Java代码 收藏代码
chown gpadmin.gpadmin -R /gpdata1 /gpdata2 /gpmaster
在segement上执行

Java代码 收藏代码
chown gpadmin.gpadmin -R /gpdata1 /gpdata2
master和segement上都要关掉防火墙

Java代码 收藏代码
sudo ufw disable

初始化命令

Java代码 收藏代码
/opt/gpdb/bin/gpinitsystem -c /opt/gpdb/gpinitsystem_singlenode

如果启动后连接报错

System was started in master-only utility mode - only utility mode connections are allowed

原因 维护模式 这样就初始化有问题 把/gpmaster/gpsne-1 里的gpsne-1 文件夹删掉

重启ubuntu

reboot

然后再初始化

一般就会成功了

如果访问出现failure during startup recovery, retry failed, check segment status

一般是防火墙没关,

如果用pgadmin不能连接,提示拒绝,就要在master机上

/gpmaster/gpsne-1 里的pg_hba.conf 加上

Java代码 收藏代码
host all all 0.0.0.0/0 md5
这是所有的,可以按需要加入某个ip

ll -a

显示隐藏的文件 .bashrc

把下面这些加入用户环境

Java代码 收藏代码
cd /home/gpadmin
vi .bashrc
加上
export MASTER_DATA_DIRECTORY=’/gpmaster/gpsne-1’
export PGPORT=5432
source /opt/gpdb/greenplum_path.sh

然后再

Java代码 收藏代码
source .bashrc

一般这就没问题了

重新加载配置文件

Java代码 收藏代码
pg_ctl reload -D /gpmaster/gpsne-1/

修改数据用户密码

psql -d postgres

alert role gpadmin with password ‘gpadmin’;

下面这句用来查某个表的分片分布

Java代码 收藏代码
select gp_segment_id, count(*) from user_test group by gp_segment_id;

后续要加个备选 主库

然后再尝试动态加一个 从库segment

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数据仓库(Data Warehouse)简称DW或DWH,是数据库的一种概念上的升级,可以说是为满足新需求设计的一种新数据库,而这个数据库是需容纳更多的数据,更加庞大的数据集,从逻辑上讲数据仓库和数据库是没有什么区别的。为企业所有级别的决策制定过程,提供所有类型数据支撑的战略集合,主要是用于数据挖掘和数据分析,以建立数据沙盘为基础,为消灭消息孤岛和支持决策为目的而创建的。 数据仓库的应用 1.数据分析、数据挖掘、人工智能、机器学习、风险控制、无人驾驶。 2.数据化运营、精准运营。 3.广告精准、智能投放。 随着我们从IT时代步入DT时代,数据积累量也与日俱增,同时伴随着互联网的发展,越来越多的应用场景产生,传统的数据处理、存储方式已经不能满足日益增长的需求。而互联网行业相比传统行业对新生事物的接受度更高、应用场景更复杂, 因此基于大数据构建的数据仓库先在互联网行业得到了尝试。 高性能高扩展的亿级电商全端实时数据仓库全实现(PC、移动、小程序) ,以热门的互联网电商实际业务应用场景为案例讲解,对电商数据仓库的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:每日、月大盘收入报表、高付费用户分析报表、流量域多方位分析、营销域多方位分析、实时排行榜指标分析、用户主题分析、店铺主题时间区间分析等,数据分析涵盖全端(PC、移动、小程序)应用,与互联网企业大数据技术同步,让大家能够真正学到大数据企业级数据仓库的实战经验。本课程凝聚讲师多年一线大数据企业实际项目经验,大数据企业在职架构师亲自授课,全程实操代码,带你体验真实的大数据开发过程,代码现场调试。通过本课程的学习再加上老师的答疑,你完全可以将本案例直接应用于企业。本套课程可以满足世面上绝大多数大数据企业级的数据仓库业务场景,全部代码可以直接部署企业,支撑亿级并发数据分析。该项目代码也是具有极高的商业价值的,大家可以根据自己的业务进行修改,便可以使用。本课程包含的技术:  开发工具为:IDEA、WebStorm Flink1.9.0 Greenplum5.0.0 Hadoop2.6.0 Hbase1.0.0 Kafka2.1.0 Hive1.1.0 HDFS、MapReduce Redis、Flume Sqoop、Zookeeper MyBatis、EhCache SpringBoot2.0.2.RELEASE SpringCloud Finchley.RELEASE Binlog、Canal MySQL、MyCat Vue.js、Nodejs Highcharts课程亮点: 1.与企业对接、真实工业界产品  2.支持海量数据的分析 3.支持全端实时数据分析 4.通用数据仓库分层解决方案 5.数据库实时同步解决方案 6.主流微服务后端系统 7.电商数据仓库实战指标 8.实时加离线多方位分析 9.互联网大数据企业热门技术栈 10.分布式数据库存储解决方案 11.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS 12.大数据热门技术Flink新版本13.集成SpringCloud实现统一整合方案 14.全程代码实操,提供全部代码和资料 15.提供答疑和提供企业技术方案咨询企业一线架构师讲授,代码企业直接复用,提供企业解决方案。  版权归作者所有,盗版将进行法律维权。 

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值