Greenplum架构简介
基于Greenplum-Hadoop-分布式平台的大数据解决方案01-Greenplum架构(1)
视频和PPT下载:https://download.csdn.net/download/u014646662/10683906
基于Greenplum Hadoop-分布式平台的大数据解决方案02-Greenplum架构(2)
视频和PPT下载:https://download.csdn.net/download/u014646662/10683912
对人工智能感兴趣的同学,可以点击以下链接:
现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转到教程。
https://www.cbedai.net/u014646662
1、什么是Greenplum
Greenplum,该公司成立于2003年,2006年推出了首款产品,其主营业务关注在数据仓库和商业智能方面,Greenplum DW/BI软件可以在虚拟化x86服务器上运行无分享(shared-nothing)的大规模并行处理(MPP)架构 。
Greenplum是基于 PostgreSQL 8.2开发的,与PostgreSQL 8.2有相同的客户端功能(Pgadmin III支持Greenplum,但是PGadmin VI则不能连接到Greenplum),在PostgreSQL 8.2上增加支持并行处理的技术,增加支持数据仓库和BI的特性,外部表(external tables)/并行加载(parallel loading),资源管理,查询优化器增强(query optimizer enhancements)
2、Greenplum 体系架构
主节点Master host的主要功能:
- 访问系统的入口
- 数据库侦听进程 (postgres)
- 处理所有用户连接
- 建立查询计划
- 协调工作处理过程
- 管理工具
- 系统目录表和元数据(数据字典)
- 不存放任何用户数据
数据节点Segment host的主要功能
- 每段(Segment)存放
- 一部分用户数据一个系统可以有多段
- 用户不能直接存取访问
- 所有对段的访问都经过Master
- 数据库监听进程(postgres)监听来自Master的连接
3、网络配置示例
第一块是Master host 用于客户端的访问
第二块即使Standby host,也是Segment host的节点,当Master host 节点出现故障时,Standby host可以切换为Master host,以接受用户的访问,如果是生产环境,建议分开
第三块时Segment host 主要用于数据存储和计算
4、Greenplum 高可用性体系架构
- Standby 节点用于当 Master 节点损坏时提供 Master 服务
- Standby 实时与 Master 节点的 Catalog 和事务日志保持同步
- 每个Segment的数据冗余存放在另一个Segment上,数据实时同步
- 当Primary Segment失败时,Mirror Segment将自动提供服务
- Primary Segment恢复正常后,使用gprecoverseg –F 同步数据。
greenplum安装:https://blog.csdn.net/u014646662/article/details/82827563