Pivotal中国研发中心总经理冯雷在digitx.cn上发表最新博文《Pivotal和腾讯在Greenplum 5上合作》。查看原文内容请点击文章底部的“阅读原文”。
Greenplum 5是我们第一个基于开源Greenplum的版本。从战略角度上看,我们就以下方面进行了加强:内核领先地位,机器学习能力,全开源,支持主流云平台。
一、内核而言,Greenplum可谓是业内领先的MPP引擎
产品由Scott Yara和Luke Lonergan于2003年创立,中间引入了数据库行业的名人。2010年EMC收购Greenplum后,我们在北京创立了中国研发中心。Pivotal中国研发中心在国内引入大量北大清华和中科院体系的数据库人才持续进行创新。MapReduce和Hadoop兴起以后,我们把Greenplum的MPP引擎迁移到Hadoop系统上创建了Hadoop-native的HAWQ项目 (在Apache项目孵化)。另外,我们为Greenplum/HAWQ的优化器创建了ORCA项目;我们还为高级机器学习功能创建了Madlib项目,Madlib已经成为Apache顶级开源项目。在高小明,姚延栋,熊刚的努力下,我们特别低调发布的资源组功能,期望控制OLAP
的资源使用,为混合负载数据库【(Hybrid Transactional/Analytical Processing (HTAP) 】奠定基础。创业的小伙伴可以尝试着在我们的资源组上往HTAP奔跑。
二、大数据和机器学习(人工智能/AI的一个重要分支)可谓同一个硬币的两个面
Greenplum帮助企业存储了大量数据,这些大数据和Greenplum的计算能力使得所有的机器学习算法(包括神经网络和深度学习)的精度都有不少提高,无论是炼金术还是化学家都能取得更好结果。MADLib的库函数包括了主流的机器学习的数学模型,用户可以用几行简单的SQL语句就能进入机器学习的大门。 另外一方面,我们留意到不少数据科学家喜欢使用SQL以外的其他语言,特别是Python。为了使得数据科学家们继续使用他们喜欢的语言,Greenplum提供了一个容器环境支持运行这些科学计算语言,但是又能保证Greenplum的系统和数据安全。
三、如果说新一代企业把核心竞争力建立在大数据和包含机器学习在内的人工智能(AI)核心能力上,开源成为这些企业的必然要求
如果闭源,企业会被锁定在特定的软件供应商上。从Pivotal的角度上,开源帮助我们建立Greenplum的用户群并且平民化大数据、机器学习和人工智能。
四、既然开源能帮助平民化,为何还要支持多个主流云平台?
开源是平民化的必要但不充分条件。一个企业尝试一个Greenplum,最起码也要购入几台硬件配置相当的服务器,安装开源Greenplum,导入数据,然后再用PLPython或者Madlib开发和运行模型。这样一套流程下来,少则几个礼拜,多则几个月。在美国的Amazon AWS、Microsoft Azure和Google Compute Engine提供云版本Geenplum后,我们和腾讯云和阿里云合作提供有预装的开源Greenplum环境和相应的数据导入工具。用户可以在一天内导入数据并运行模型,然后决定是否继续在开源环境预研还是和Pivotal进入商业合作运行商业系统。
腾讯云在AI的定位和发力,开放的合作态度,使得他们成为开源和商业Greenplum极佳的合作伙伴。我们非常感谢腾讯云和我们的合作。第三方可以根据自己的情况选择采用开源模式或者BYOL(Bring Your Own License)模式快速进入机器学习和人工智能的战略。
参考:
IT168报道: http://m.it168.com/article_3184333.html
CSDN报道:http://www.sohu.com/a/208743927_115128
云栖说:https://yq.aliyun.com/articles/65247
本文分享自微信公众号 - Greenplum中文社区(GreenplumCommunity)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。