3分钟快速搭建Greenplum集群

最新推荐文章于 2024-09-23 09:30:00 发布
最新推荐文章于 2024-09-23 09:30:00 发布
阅读量1.3k 收藏 4
点赞数
分类专栏： Greenplum安装配置 文章标签： 分布式 数据库 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gp_community/article/details/107321822
版权
本文介绍了如何在Docker中快速搭建Greenplum集群，通过几个简单步骤完成从准备工作、运行容器、初始化集群到管理集群的过程，大大缩短了部署时间。详细讲解了配置文件的获取、容器启动、集群初始化以及后续的集群管理和扩展。
摘要由CSDN通过智能技术生成

了解更多Greenplum技术干货，欢迎访问Greenplum中文社区网站

Greenplum作为一个分布式计算平台，集群中有不同角色的节点，比如master，segment，甚至专门的etl服务器。完整的部署一个Greenplum集群通常需要多个物理机，并花费数天甚至数周的时间。而利用docker和docker-compose，启动一个gp集群其实只需要几分钟而已。本文将介绍如何快速在docker中启动Greenplum 集群。

1、准备工作

首先从github下载docker的配置文件：

git clone https://github.com/lij55/gphost.git

然后从Greenplum官网(https://network.pivotal.io/)下载相应的安装包版本，gphost的docker使用的CentOS7镜像。如果用gp5的环境，就将对应的rpm放到example5/目录；如果用gp6的环境，就将对应的rpm放到example6/目录。这里以gp6为例，下载6.8的安装文件greenplum-db-6.8.0-rhel7-x86_64.rpm，放到example6目录下，执行ls可以看到内容大致如下:

$ ls -1 example6
build.sh
docker-compose.yaml
Dockerfile
greenplum-db-6.8.0-rhel7-x86_64.
最低0.47元/天 解锁文章
Greenplum中文社区
关注
专栏目录
数据库GreenPlum集群环境配置及搭建.doc
10-06
数据库GreenPlum集群环境配置及搭建 GreenPlum是一个面向对象的关系型数据库，具有快捷的查询速度、快速的数据装载速度和批量DML处理速度。它的特点是集群架构，通过增加SEGMENT节点服务器的数量，可以线性增长性能...
[docker]快速构建Greenplum数据库
热门推荐
東₂₀₂₃²⁰²³
11-09 5万+
目录快速构建不同之处：参考镜像jdbc命令行模式 快速构建 关于GP数据库，因为他也是基于PG实现的，这里就不在多说了，参考华为的GaussDB吧 不同之处： 参考镜像 projectairws/greenplum #版本端口映射注意别冲突 docker run -itd -p 5432:5432 --name greenplum:5.20.1 projectairws/greenplum:5.20.1 jdbc 驱动选择上不一样（能否像GaussDB一样设置用户名密码未测试） 命令行模式 默认创建用
Greenplum数据库全面解析
最新发布
hello.reader
09-23 1481
为了满足企业的大规模数据处理需求，项目团队决定使用Greenplum作为核心的数据仓库平台，主要因为其强大的并行处理能力和与大数据生态的集成能力。Greenplum作为数据仓库的核心：处理来自不同数据源的数据，进行批量数据导入、清洗和转换。Kafka用于实时数据流处理：收集来自线上商城和门店的实时交易数据，并通过外部表将数据实时加载到Greenplum中进行分析。Hadoop用于历史数据存储：使用HDFS作为冷数据的存储，Greenplum通过外部表对接HDFS中的历史数据，减少系统的存储压力。
sheng的学习笔记-docker部署Greenplum
coldstarry的专栏
05-23 750
创建的默认数据库是gpadmin，密码也是这个。创建的默认数据库是gpadmin，密码也是这个。打开终端，输入代码，查看版本。
Greenplum介绍、安装与部署
weixin_42788640的博客
04-02 4120
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
Docker 中部署 Greenplum
magic_kid_2010的专栏
05-09 4926
一、环境准备 Docker docker-compose centos:7.5.1804 的 docker 镜像 greenplum-db-5.14.0-rhel7-x86_64.bin 二进制文件 1、查看 docker 和 docker-compose 版本 [bigdata@local-vm-320 gp]$ docker -v Docker version 19.03.5, build 633a0ea [bigdata@local-vm-320 gp]$ docker-compose
数据库GreenPlum集群环境配置与搭建.docx
09-28
### 数据库GreenPlum集群环境配置与搭建 #### 一、GreenPlum简介与特性 GreenPlum是一款高性能的企业级数据库管理系统，具有高度可扩展性和卓越的查询性能，尤其适用于大规模数据分析场景。与传统的单体数据库（如...
数据库GreenPlum集群环境配置与搭建分享.pdf
01-01
【GreenPlum数据库集群环境配置与搭建】 GreenPlum是一种高度并行处理（MPP）的分布式数据库系统，由多个独立的数据库服务器组成，形成一个逻辑上的单一数据库。与Oracle和DB2等传统关系型数据库相比，GreenPlum...
数据库GreenPlum-集群环境配置与搭建.docx
10-03
【GreenPlum数据库集群环境配置与搭建】 GreenPlum是一个基于MPP（Massively Parallel Processing）架构的关系型数据库管理系统，由多个独立的数据库服务组成，提供高性能的数据处理能力。相较于传统的RAC（Real ...
GreenPlum最全学习手册
02-04
- **集群搭建**：示例环境中使用5台虚拟机构建了一个包含1个Master节点、1个Standby Master节点以及3个Segment节点的集群。 - **网络配置**：需对每台服务器进行静态IP地址设置，确保节点间通信稳定可靠。 - **安装...
centos7 docker-compose Greenplum
weixin_42256094的博客
07-30 781
准备环境 1.docker环境 2、Greenplum安装包 greenplum-db-6.4.0-rhel7-x86_64.rpm 链接：https://pan.baidu.com/s/1MSDsYgWhtsLnYDPzW1YV-g 提取码：1234 安装 dockerfile FROM lyasper/gphost COPY greenplum-db-6.4.0-rhel7-x86_64.rpm /home/gpadmin/greenplum-db.rpm RUN rpm -i ..
《GreenPLum系列-部署维护》超详细Docker安装GreenPlum集群教程
https://blog.datasource.space
03-26 4114
由于拉取docker的centos镜像是一个简化版本，里面有一些程序没有默认安装，会影响到gp的部署，因为在每个docker容器中安装相关的依赖包。
安装docker、greenplum集群
m0_66454867的博客
05-15 603
【代码】开启docker并搭建三台机greenp6lum集群。
docker搭建greenplum集群
weixin_41197407的博客
01-07 2430
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
创建docker greenplum 容器以及greenplum 监控（GPCC）
naniwet的博客
09-11 3912
下载基础镜像centos docker pull centos:6.8 创建容器 docker run -tid --name gp -p 5432:5432 -p 28080:28080 -v I:\gp\gp:/gp centos:6.8 /bin/bash （gp文件夹里包括GP安装包和GPCC安装包） 进入容器 docker exec -ti gp /bin/bash 安装...
《GreenPlum系列-部署维护》超详细Docker安装GreenPlum单机节点教程
https://blog.datasource.space
03-22 2435
官方推荐使用yum的方式安装，yum安装的饿好处是，会自动帮我们下载安装依赖包。默认将greenplum软件安装到/usr/local目录下，并创建软连接。容器的6000,6001,5432，分别对应服务器的6000,6001,5432端口，主要开放5432端口允许外部访问即可。这样在root用户下修改了环境后，一旦切换到gpadmin用户，会自动加载。安装passwd应用，可以给容器的用户设置密码，方便对本机进行免密操作。在使用gpstop的时候，提示关闭失败，提示你设置。文件中添加如下两行记录即可。
收藏版！手把手教你搭建 Greenplum 6.1 集群
Greenplum中文社区
03-12 2111
随着Greenplum大数据平台正式进入6时代，Greenplum 新版本在功能和性能上都实现大幅度地提升。Greenplum 用户麦煜遥将在本文详细介绍如何在Linux上搭建Greenplum 6.1集群。 1. 安装说明 1.1 环境说明 操作系统:  CentOS release 6.6 数据库: Greenplum 6.1 辅助工具:  Winsc...
greenplum集群
vezine的博客
03-25 441
环境准备 安装包 greenplum-db-6.9.0-rhel7-x86_64.rpm 下载地址 https://github.com/greenplum-db/gpdb/releases 主机节点 192.168.1.1 master 192.168.1.2 segment1 192.168.1.3 segment2 环境配置 ------所有服务器都需配置------ 关闭防火墙 systemctl disable firewalld #禁用 systemctl stop fi
GreenPlum集群搭建安装超详细步骤
07-27
你可以按照以下步骤来搭建和安装GreenPlum集群： 1. 确保你的环境满足要求： - 操作系统：Linux（如CentOS、Ubuntu等） - 硬件要求：至少3台服务器，每台至少16GB内存和100GB可用空间 2. 下载GreenPlum软件包： - 访问GreenPlum官方网站（https://greenplum.org/）下载最新版本的GreenPlum软件包。 3. 安装依赖软件： - 在你的所有服务器上安装依赖软件，包括SSH、Python、Java以及其他必要的软件和库。 4. 配置SSH免密登录： - 在所有服务器上配置SSH免密登录，以便服务器之间可以互相访问。 5. 在每台服务器上设置主机名： - 打开终端并编辑`/etc/hostname`文件，将每台服务器的主机名设置为唯一的名称。 6. 创建一个用户组和用户： - 在所有服务器上创建一个用户组和一个用于安装和管理GreenPlum的用户。 7. 将GreenPlum软件包复制到所有服务器上： - 将下载的GreenPlum软件包复制到所有服务器上，并解压缩到一个目录中。 8. 配置GreenPlum集群： - 在一个服务器上编辑`greenplum_path/gpconfigs/gpinitsystem_config`文件，根据你的需求进行配置。 9. 初始化GreenPlum集群： - 在一个服务器上执行以下命令来初始化GreenPlum集群： ``` $ source greenplum_path/greenplum_path.sh $ gpinitsystem -c greenplum_path/gpconfigs/gpinitsystem_config -h hostfile ``` 10. 启动GreenPlum集群： - 在一个服务器上执行以下命令来启动GreenPlum集群： ``` $ gpstart -a ``` 11. 验证GreenPlum集群： - 在任意服务器上执行以下命令来验证GreenPlum集群是否正常运行： ``` $ psql -d postgres ``` 12. 添加额外的节点（可选）： - 如果你想要添加额外的节点到GreenPlum集群中，你可以编辑`greenplum_path/gpconfigs/gpinitsystem_config`文件，然后重复步骤9和10。 这些是GreenPlum集群搭建和安装的大致步骤，请根据实际情况进行调整。注意，在实际操作中可能会有其他细节和注意事项，请参考GreenPlum官方文档或其他相关资源以获取更详细的信息。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值