Greenplum架构简介

Greenplum架构简介

基于Greenplum-Hadoop-分布式平台的大数据解决方案01-Greenplum架构(1)
视频和PPT下载:https://download.csdn.net/download/u014646662/10683906

基于Greenplum Hadoop-分布式平台的大数据解决方案02-Greenplum架构(2)
视频和PPT下载:https://download.csdn.net/download/u014646662/10683912

1、什么是Greenplum

Greenplum,该公司成立于2003年,2006年推出了首款产品,其主营业务关注在数据仓库和商业智能方面,Greenplum DW/BI软件可以在虚拟化x86服务器上运行无分享(shared-nothing)的大规模并行处理(MPP)架构

 

Greenplum是基于 PostgreSQL 8.2开发的,与PostgreSQL 8.2有相同的客户端功能(Pgadmin III支持Greenplum,但是PGadmin VI则不能连接到Greenplum),在PostgreSQL 8.2上增加支持并行处理的技术,增加支持数据仓库和BI的特性,外部表(external tables)/并行加载(parallel loading),资源管理,查询优化器增强(query optimizer enhancements)

 

2、Greenplum 体系架构

主节点Master host的主要功能:

  1.  访问系统的入口
  2.  数据库侦听进程 (postgres)
  3.  处理所有用户连接
  4.  建立查询计划
  5.  协调工作处理过程
  6.  管理工具
  7.  系统目录表和元数据(数据字典)
  8.  不存放任何用户数据

数据节点Segment host的主要功能

  1.  每段(Segment)存放
  2.  一部分用户数据一个系统可以有多段
  3.  用户不能直接存取访问
  4.  所有对段的访问都经过Master
  5.  数据库监听进程(postgres)监听来自Master的连接

3、网络配置示例

第一块是Master host 用于客户端的访问

第二块即使Standby host,也是Segment host的节点,当Master host 节点出现故障时,Standby host可以切换为Master host,以接受用户的访问,如果是生产环境,建议分开

第三块时Segment host 主要用于数据存储和计算

4、Greenplum 高可用性体系架构

  1. Standby 节点用于当 Master 节点损坏时提供 Master 服务
  2. Standby 实时与 Master 节点的 Catalog 和事务日志保持同步
  3. 每个Segment的数据冗余存放在另一个Segment上,数据实时同步
  4. 当Primary Segment失败时,Mirror Segment将自动提供服务
  5. Primary Segment恢复正常后,使用gprecoverseg –F  同步数据。

greenplum安装:https://blog.csdn.net/u014646662/article/details/82827563

展开阅读全文

没有更多推荐了,返回首页