Pivotal新一代PaaS平台,颠覆软件开发方式

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/achuan2015/article/details/83304745

 

早在2016年3月的时候,市场研究公司Technavio就在其研究报告中公布了2019年之前全球前5家PaaS市场顶级供应商的名单,其中只有Pivotal一家完全专注于提供企业级PaaS平台和解决方案,而这是因为Pivotal的出身:Pivotal由EMC、VMware、GE在2013年4月投资成立,后来Dell收购EMC亦成为Pivotal股东,而微软与福特则于2016年投资了Pivotal;由Pivotal发起的开源PaaS基金会Cloud Foundry的白金赞助商包括IBM、SAP、思科等全球IT巨头,金牌和银牌赞助商亦包括华为、埃森哲、爱立信、SAS、CA等著名科技公司。

在过去的5年时间里,Pivotal的企业级PaaS平台解决方案已经日益成熟。其中,Pivotal云原生平台按照三阶段架构持续发展,支持从开发、测试到生产的云原生应用全生命周期:第一阶段为云原生应用框架、云原生运行时平台、云原生运维;第二阶段为指导现代应用和微服务架构设计的12要素、容器编排、基础设施自动化;第三阶段为Cloud Foundry Buildpacks及Spring Cloud、Cloud Foundry弹性运行时以及Cloud Foundry BOSH多云运维管理平台;而在最下层就是支持这一系列变革的云原生文化。除了云原生平台的演进外,Pivotal的大数据及数据平台Greenplum和GemFire也在与时俱进,支持最新的机器学习等新兴企业级应用。

(上图为Pivotal云原生构架)

在2018年10月17日的北京戴尔科技峰会2018上,来自Pivotal的技术专家们介绍了2018年最新更新的Pivotal云与大数据PaaS平台与解决方案、推动企业数字化转型的最新服务和方法论,以及花旗银行作为典型代表的数字化转型实践。

正如2018年4月Pivotal在美国纽交所上市时,CEO Rob Bee所表达:“每一个行业都需要以创业公司的速度创新,才能在日益为软件所定义的世界里成功。”而以Pivotal的上市为里程碑,今天的企业数字化转型正在全面进入加速阶段。

完整的云原生应用生命周期平台

在2018年初,Pivotal推出了Pivotal Cloud Foundry 2.0(PCF2.0),在原来PCF 1.0的基础上增加了与Google、VMware合作的Pivotal Kubernetes Services(PKS),以及正在发展中的Pivotal Function as a Service(PFS)两大新软件技术栈。

Pivotal大中华区云计算业务技术总监俊刚介绍,PCF 2.0是一个里程碑式的版本,其中的PAS即Pivotal Application Services包括了PCF 1.0的功能,主要面向企业级原生应用的支撑,而PKS则是一个完整的支持开源容器编排工具Kubernetes的商业版本。众所周知,在容器平台的几大编排引擎中,源自Google开源的Kubernetes已经取得了主流的市场地位,特别受到企业级用户的青睐。

在2017年8月的VMworld 2017上,Pivotal、VMware和Google Cloud联合发布了PKS。早在2016年11月,Pivotal就与Google Cloud开始合作开发Kubo(Kubernetes on Bosh)项目,共同将PCF的多云部署功能BOSH引入Kubernetes集群,以统一的方式在任意云端实施、部署和管理高度可用的Kubernetes集群。PKS的最大好处是向下可以与VMware vSphere无缝集成,让企业能够将VMware的统一SDDC基础架构用于容器;而PKS本身与Google Container Engine (GKE)持续兼容并由最新版Kubernetes产品提供支持,同时由于有BOSH的支持,还提供类似Google SRE(Site Reliability Engineering)所支持的全面托管体验。另外,PKS还与VMware的Harbor集成,使用Harbor所提供的企业级容器镜像仓库的功能;集成VMware的企业级网络虚拟化技术NSX-T则保证了企业应用对于容器隔离的安全要求。最后也是PKS最重要的特点之一,BOSH解决了容器应用的多云资源自动化管理,以及Kubernetes集群在生产环境下的自动化运维的功能。

(上图为Pivotal Container Service整体构架)

作为支持以物联网为代表的事件驱动型应用场景的利器,Pivotal Function Services(PFS)则是把互联网规模的无服务器思想引入到企业级应用。PFS基于函数即服务FaaS(Function as a Service)的架构,使得企业云原生应用在开发、投产和运行的时候无需关注底层的服务器等硬件环境,开发人员只需要集中精力于代码和业务逻辑即可。事实上,Pivotal最早就是开源版本的FaaS软件RIFF的开发者和贡献者,而随着AWS在2014年推出Lambda无服务器技术后开源无服务器FaaS框架的兴起,RIFF则演进为Pivotal主导的面向企业级应用的开源FaaS框架。2018年9月,在Google Cloud Next 2018大会上,Google发布了与Pivotal、IBM、SAP、Redhat合作开发的基于Kubernetes的FaaS框架Knative。而PFS其实就是Knative的商业化版本,预计在Knative成熟后就将推向市场。

俊刚表示,在今年9月份于美国华盛顿举办的SpringOne Platform技术大会上,Pivotal还宣布了一系列的软件更新,为企业云原生软件市场带来“横扫”之势,例如:PCF极大地简化了每日的运维,提供更快的跨数据中心的平台软件的构建功能;PKS将把AWS纳入到多云支持中;PAS为微软的.NET开发框架提供了极大支持;以及简化了开发团队跨微服务进行安全的数据分享等。俊刚强调,BOSH是Pivotal通过PaaS平台打通底层各种公有云的关键技术,除了AWS外还兼容Azure、阿里云等多种公有云资源以及基于Openstack和VMware技术的混合云。

数字化转型“传帮带”

今天,企业数字化转型正在向“深水区”发展,这就是要从底层基础设施的云化,到应用向云迁移以及在云上进行原生云应用的开发,或把传统应用在云环境中重构。

Pivotal主打面向云原生应用开发的企业级云环境及解决方案。在帮助企业进行数字化转型的过程中,Pivotal除了通过项目向企业交付云原生应用平台以及云应用开发生命周期解决方案外,还需要把敏捷开发的文化带入企业,而这就是Pivotal另外一个重要的部门Pivotal Labs的主要使命。Pivotal Labs是敏捷开发的领导者,它成立于1989年并成功为谷歌等互联网公司导入了敏捷开发的实践。2012年Pivotal Labs被EMC收购,后并入了Pivotal。

Pivotal Labs推行一整套敏捷开发管理方法论,将极限编程作为文化基础。极限编程是一种软件工程方法,强调快速适应不断变化的软件需求。极限编程的一个主要特色就是结对编程,即让两个开发人员使用同一个键盘和同一台显示器写同一段代码,从而大幅降低了时间浪费和软件缺陷,能带来更高质量的代码和协作水平。

在Pivotal Labs的基础上,Pivotal今年还在大中华区推出了应用现代化转型专家服务:Application Transformation Services(APPTX)。过去,Pivotal为企业实施完项目后就撤走了,企业虽然获得了一个云原生应用平台及解决方案,但对于已有的传统单体应用如何上云仍然毫无头绪,而APPTX就是解决这个问题的方案。俊刚介绍,APPTX服务的第一步是帮助企业梳理原有历史遗留应用以及对历史应用的技术栈进行深入分析,梳理后提供相应的上云建议,之后与企业客户团队一起,把应用向云上迁移、做架构优化和微服务;第二步是在向云迁移的过程中,Pivotal APPTX专家带着客户一起工作,一起梳理、一起迁移、一起进行架构优化,采用结对编程的方式进行现场传帮带,让客户真正掌握应用迁移方法以及上云的相关知识。

俊刚表示,APPTX的推出就是把Pivotal的知识向客户进行转移,让客户不仅获得向云原生平台的应用迁移,还能获得相关的知识与经验。当项目结束后,Pivotal专家会总结不同类别应用的迁移相关问题和解决方案,并编写成一本指南手册,这样当客户以后遇到类似问题就有了参考。实际上,不少企业都有自己的开发团队,但都缺乏相应的培训和指导,而APPTX就相当于专家级一对一辅导,通过结对一起工作的方式,言传身教地向企业传递敏捷开发运维的知识。

目前,虽然APPTX专家服务刚推出没有多久,就已经有全球性企业采用了这项服务,对其香港、日本和内地的开发团队进行了专家培训,从而使他们快速掌握实战经验与技巧。

面向机器学习和实时计算的数据平台

在面向云原生应用的PaaS解决方案中,大数据和内存数据库是两个必要的组件,Pivotal在这两个领域都有历史悠久的产品:Greenplum和GemFire。其中,Greenplum已经有10多年历史,从最早的大规模分布式并行处理数据仓库平台,已经转变为全能的大数据平台;而GemFire缓存计算是一个位于应用集群和后端数据源之间的高性能、分布式的操作数据管理基础架构,它利用网络中的内存和磁盘资源形成一个实时的数据网格,提供了低延迟、高吞吐量的数据共享和事件分发。

Pivotal大中华区数据产品线业务总监程良介绍,Greenplum经过十多年的发展,在总体MPP基础架构基础上,增强了很多新支持的业务场景,包括大数据平台联邦、GPText文本检索、日志分析、GIS地理位置信息、时间序列分析、图计算等大数据和AI分析计算模型。Greenplum还在最近两年增加了对PostgreSQL开源数据库引擎的支持,PostgreSQL是与MySQL齐名的开源数据库,但PostgreSQL的高级OLAP分析功能、良好的扩展性、 支持的多样化的数据类型、支持多集群架构、更强的SQL编程能力以及对R语言的支持等,都远胜于了MySQL。Greenplum不断保持对于最新PostgreSQL内核版本的支持,同时也将Greenplum的新特性贡献到PostgreSQL社区。

今天,Greenplum的定位不仅是数据仓库和大数据分析平台,还是企业的整体数据管理平台。通过Pivotal Extension Framework(PXF)接口,Greenplum可连接Hadoop HDFS、HBase、Hive、Oracle、DB2、MySQL、PostgresSQL等多种外部数据源,通过Spark-Connector支持与Spark的数据连接,通过Kafka-Connector接口支持与Kafka消息队列的无缝连接,通过Gemfire-Connector实现与分布式内存数据的连接。在过去的一年,Pivotal还推出了Greenplum for Kubernetes版本,通过容器化来支持更快更灵活部署数据分析平台,提升管理性和弹性扩展能力。

(上图为Greenplum数据联邦)

程良介绍,2019年将发布Greenplum 6.0版本,相较于2017年发布的5.0版本,6.0版本将增加不少企业客户关注的新功能,比如通过WAL日志的逻辑复制实现Greenplum数据库操作在另一个集群的回放(Replay),从而实现异地灾备和双活集群。这是因为随着分析与业务的联系越来越紧密,企业对大数据平台的可用性要求非常高,多地多中心多活将是明年6.0版本的重点。在6.0版本中 ,Greenplum将提高OLAP/OLTP的混载能力 ,一方面提高SQL Dispatch和Analyze等方面的性能,另一方面,优化锁机制,同一数据表的更新(含删除)操作不再互斥,这将大幅提高MPP系统的并发性能,这个也是其它MPP数据库目前无法做到的,此外,6.0版本还计划对PostgreSQL的内核同步到9.4版本,很多企业级重要特性都是在9.4版本上实现的。

在对机器学习的支持方面,Pivotal也是先向APACHE基金会贡献了开源的机器学习算法库MADLib。程良介绍,如果没有MADlib,在用Python编写聚类分析算法要写上百行代码,而用MADlib可以直接一两句数据库函数调用即可,而且直接操作在数据表上,极大提高了开发效率和运行效率。随着Greenplum for Kubernetes的推出,可快速生成集群以及进行管理,极大方便了敏捷AI的应用开发。

在底层基础设施方面,Greenplum一直遵循开放的路线,除了对各类X86服务器支持外,还支持Vmware/Openstack私有云架构,另外,今年来通过与AWS、Azure、阿里云等公有云的生态合作,用户还可选择将Greenplum部署到公有云中,实现便捷的部署和快速扩展的能力。

GemFire作为缓存计算产品,可以在内存和缓存中同时进行数据存储与计算分析,其它的开源缓存产品如Redis则只能缓存而不能计算。程良强调,GemFire是目前唯一可以同时计算和缓存的产品,12306网站就使用了GemFire解决高并发量、类实时、可扩展计算的难题,例如当某个火车沿线的某段铁路票出售后,就需要马上更新受影响的沿线中任意两段铁路的售票情况,这就需要基于GemFire的内存计算提供低延迟(<10ms)高并发(10万tps)的处理能力。Pivotal还推出了GemFire for Greenplum Connector,也就是把GemFire与Greenplum连接起来,作为Greenplum的加速器,解决应用的性能瓶颈。针对KafKa、Storm、Spark等实时数据流计算引擎,Pivotal也有自己解决方案,即Spring Cloud Data Flow,可处理物联网的高速实时数据流。当然,Greenplum也有Kafka Connetor等连接器,可以连接多种开源数据管理和分析软件。

花旗银行的数字化转型

(上图为花旗银行的创新中心)

花旗银行作为世界500强企业,是美国第三大银行、也是第一家在中国开设分支机构的美国银行。花旗银行虽然有着近200年的成功历史,但是最近几年来也面临着由互联网公司以及新的金融科技公司所带来的跨界竞争。面对挑战,花旗银行正在进行自身的变革,与Pivotal进行合作,采用Pivotal的平台、工具流程以及方法论进行全面的数字化转型,来重塑自己的业务并全力转型成为从事金融业务的软件公司。

Pivotal高级平台架构师杨海涛在2018北京戴尔科技峰会上带来了“花旗银行数字化转型之旅”的主题演讲。从2013年和2014年开始,国际金融巨头们突然发现在金融领域涌进来了一些“不速之客”,并开始迅速瓜分金融市场的份额。这些“不速之客”的共同特点包括:都是初创公司、发展速度非常快、创新能力非常强、产品迭代速度非常快、并且全部都是基于金融科技。当时,花旗银行并没有很好的应对办法,通过传统的竞争方式难以挽救颓势。

在2015年的时候,花旗银行的零售事业部聘请了一位新CEO Stephen Bird,他在硅谷召开了第一次全体高管会议,与他的新同事们分享了他数字化转型的一些想法。他认为,花旗银行想继续发展,首先必须要开拓自己的视野,加强科技的技能和能力,同时,还需要有加速创新所需要的好奇心,对于学习的开放思维和尝试新事物的能力,快速适应和调整的能力,以及通过小步快跑进行快速试错的能力。他认为,文化上的改变也是花旗在未来竞争中继续获得成功的必要条件。基于此想法,花旗银行决定从快速推向市场、文化和团队重建、成为敏捷企业、微服务等方面作为主要着力点,进行数字化转型,并选择Pivotal与花旗银行一起在8个月的时间里面完成整个既定的任务,同时让自己的员工在工作中进行充分的学习。

据此,Pivotal为花旗银行制定了整体策略:技术方面采用云平台和微服务;流程上改变工作方式并向敏捷转型;而最重要的是为了保证数字化转型的长期成功,帮助花旗银行培养数字化人才。在人才培养方面,花旗银行的团队与Pivotal的团队一起工作,工程师和工程师在一起、设计师和设计师在一起、产品经理和产品经理在一起,共同完成具体的项目工作。通过这种方式,一方面可以共同完成既定任务,另一方面则帮助花旗银行培养了核心的技术人员。通过赋能的方式,Pivotal帮助花旗银行建立了多个全球金融科技创新中心。

这样做的效果是,从2014年到2017年,花旗银行在北美的营业厅数量直线下降,但同时管理的总资产却一直在上升,而这就是数字化渠道的力量:在成本下降的同时,花旗银行通过数字化的渠道维持了整体销售的增长。

越来越多的企业在Pivotal的平台上加快了自己数字化转型的进程。Pivotal的优势除了技术方面外,与Dell、EMC、VMware等的戴尔科技集团的合力,也是Pivotal在未来的极大竞争力。俊刚强调,Pivotal在今年的推广重点是PKS服务,特别是Dell推出的PKS一体机PRA,一个基于DELL + VMware + Pivotal的一体化微服务解决方案。PRA对于企业数字化转型来说,最大的好处就是只需要对一个商务接口即可。而如果是分散采购服务器、服务器虚拟化和云化软件、微服务软件以及相应的管理软件等,就需要对接不同的厂商,不仅耗时耗力也难以解决不同技术集成在一起的问题以及要面对后续服务是否健康的挑战;当不同厂商技术集成的方案出现问题时,也难以查清楚到底问题出在哪里。而通过PRA的一个接口就可以解决所有的问题。香港黄金珠宝公司周生生就采用了全套的Dell、VMware和Pivotal解决方案,整体架构非常流畅,数字化转型的过程也很迅速,并且出现问题的时候也很容易定位到具体的产品上。

随着数字化转型的全面展开,越来越多的企业将走上类似花旗银行的数字化转型之路。现在,花旗银行高管经常说一句话:我们是一家科技公司,只不过做的是银行业务。未来,越来越多公司将说:我们是一家科技公司,只不过做的是某个具体领域的业务。在企业数字化转型加速过程中,Pivotal新一代PaaS平台和专业服务,无疑将能够作为企业面对竞争的利器,帮助企业在未来的市场开拓一片广阔的蓝海。(文/宁川)

展开阅读全文

没有更多推荐了,返回首页