为您详细讲解Greenplum 5 智能化运维

获得技术资料内容，请访问Greenplum中文社区网站针对12月20日推送的关于Postgres中国技术大会2018的演讲PPT和演讲内容我们整理了以下文稿，供大家交流学习。

背景介绍

Greenplum是近年来非常受关注的开源分布式MPP数据库。它基于PostgreSQL内核，可以将几十、几百甚至上千个PG实例部署到分布式环境下，形成一个单独的数据库实例。在GP上，每个数据表被切分（Sharding）到多个小的PG数据库实例中（这些PG实例称之为Segment）。GP的结构将数据化整为零，每个Segment负责存储、计算一部分数据，称之为Shared Nothing架构。在执行查询时可以高度并行执进行扫描、聚集和连接，这个特点使得GP在解决大量数据的问题时特别有优势。同时GP有着跟PG一致的SQL语法支持力度，再加上丰富的GIS、图数据、文本分析、半结构化、非结构化数据、机器学习库的支持，因此GP非常适合大数据的分析和机器学习的场景。

在2017年的PostgreSQL用户大会上，来自Pivotal的技术专家分享了GP开源后第一个正式版本，Greenplum5的一些特点和新功能。这一年来Pivotal继续稳定增加对GP的研发投入，在即将到来的Greenplum6上我们将能够看到更多最新的进展。包括GP内核使用的PG版本已经从8.3升级到了9.4，用一年的时间跨越了PostgreSQL五年多的集成，对GP来说是一个非常大的进展；另外还有很多亮点功能正在持续研发和交付中，例如进一步支持混合负载、在线扩容、Master自动切换、更多高可用技术、全局死锁监测、流式数据加载、备份升级迁移工具的完善、K8S的云上部署支持等等。

 

可以说2018年对于GP是里程碑式的一年。在这一年来为了推动GP进一步从成熟走向完善，Pivotal对自治数据库、智能化运维领域也做了积极探索。这部分工作主要是Greenplum Command Center团队主导进行的。

Greenplum Command Center，或者简称GPCC，是Greenplum原生的图形化运维管理工具。在最近3年来的开发中，基于全新的界面和用户体验，陆续推出了监控、历史数据、管理的功能，在众多商业用户上得到了广泛的应用和认可。与此同时，产品和研发团队也得到了大量用户的反馈，很多DBA都反映数据库学习曲线长，工作负担重、压力大，他们希望GP能具备更加自动化、智能化的运维手段。针对这些需求，为了能让GP门槛更低、更好用，帮助用户更轻松地学习和使用GP，我们对GPCC项目的视野进行了调整，准备让GP成为智能化运维领域的领先产品。

智能化运维第一步

在长期与用户的交流和接触我形成了一个非常深刻的体会，就是数据库运维与企业传统的IT运维有一个最大的区别，同时也是难点，就是SQL查询的性能问题很难分析。我们说一个数据库最核心的功能就是执行SQL查询，但是查询的性能分析、调整又是如此难以学习和掌握，这给数据库技术的推广和应用带来了很大的障碍。如何能帮助用户科学有效地定位和分析查询的问题，是一个非常独特的挑战。GPCC团队将这个问题作为Greenplum智能运维的第一步，尝试提供更有效的手段帮助用户和DBA分析处置查询的问题。

对于查询性能的分析，我们先回顾一下已知的手段。其实无论是GP还是PG的用户，选择并不多。EXPLAIN命令可以获得一个文本的查询计划，包括完成一个查询所执行的步骤（算子），算子之间的关系通过缩进表示；EXPLAIN ANALYZE可以在获得文本的同时还让查询真正执行一遍，能够获得一些额外的执行状态信息，但EXPLAIN ANALYZE的执行时间受到查询速度的影响，查询速度