张粤磊：从杂牌野战军到王牌正规军的蜕变

说起飞谷云创始人张粤磊的成长史，可以一言以蔽之，那就是从杂牌野战军一路摸爬滚打到王牌正规军的完美蜕变。

2005年，初入社会的青涩小伙儿凭借在校学习的SQL开发技能，进入到一家外资企业担任Oracle DBA。相信每个人第一份工作的展开都不会太顺利，但幸运的是张粤磊获得了IT负责人的大力帮助，在短短四年时间内对企业的各种软硬件及数据库的开发管理运维有了深入认识。2009年之后，张粤磊开始关注数据库和数据仓库的架构支持，先后在HP、中国外汇交易中心、平安壹钱包的数据项目中担任技术负责人或架构师，深入参与了一线的数据项目的架构开发实践。

大数据和云计算的发展，让张粤磊意识到它们将是未来的标配技术。2016年3月，从平安壹钱包辞职后，他就积极投身到了大数据、云计算、人工智能技术的分享传播中。除了出版了《自己动手做大数据系统》，还在飞谷云网站上开发了基于私有云的大数据实践操作平台，让更多朋友直接上网就可以进行大数据环境的命令学习和代码开发实践。

○

○

飞谷云创始人

张粤磊 

DBA、大数据架构师，十余年一线数据处理数据分析实战经验。先后在咨询、金融、互联网行业担任数据平台技术负责人或架构师。主要关注大数据基础平台、大数据模型构建和大数据分析。在国内金融，电信，IT服务，电力等行业企业做过近百场的专业大数据云计算技术分享及培训。2014-2016平安壹钱包大数据平台架构师。出版或翻译的大数据书籍有《R与Hadoop大数据分析实战》机械工业出版社2014年11月 第四译者 。《自己动手做大数据系统》电子工业出版社 2016年10月 第二作者。

议

题

时间：5月12日 星期五

专场9： 大数据云服务

主题：基于私有云的大数据运维实践

“

飞谷云是一个基于openstack搭建的各种大数据场景的实践平台，2014开始基于openstack的J版本的KVM的实例来构建hadoop大数据系统，在运维上网络，存储等做了很多适合hadoop性能参数的调整和版本升级（如K相对于J版本cinder组件改善），但openstack本身也有很多hadoop集群状态管理无法实现的地方，2016年至今基于openstack结合docer的Nova Docker，Heat Docker plugin使用对比，在hadoop集群管理信息监控和性能上应用上也有各自的优缺点。本分享将对基于多hadoop版本管理运维的云平台构建经验及教训做下分享。

企业数据库的选择呈现新趋势

最近几年，数据库市场可以说是风起云涌，不仅有开源数据库和商业数据库之争，老牌数据库与新兵数据库也同样剑拔弩张。数据库的多样化也为企业带来多种选择，张粤磊认为未来企业数据库的选择会呈现新趋势：

1

企业对于数据库产品的选择更加理性开放

之前，企业在OLTP业务场景中的数据库选型几乎被Oracle、DB2、SQL SERVER数据库垄断，但是现在我们看到了越来越多的数据库被应用，如MySQL、PostgreSQL等等。前段时间我们揭秘了知名互联网公司都在使用哪些数据库，文中提及到的公司无一例外的都选择了MySQL。

除了基本的日常事务处理，也有越来越多的企业开始思考将OLAP与OLTP业务有机结合，对大数据平台的数据库、数据仓库的关注也越来越多。在移动互联网、物联网及人工智能的大背景下，人们普遍认识到基于大数据系统构建企业的数据平台是最优的选择。

 

张粤磊表示这种种变化都说明了大家对数据库产品的接受和选型更加开放和理性。

2

数据库产品将向虚拟化和开源化发展

今年开年，外媒发表了一篇文章《The Death Of The Commercial Database: Oracle's Dilemma》，毫不客气的指出Oracle、IBM和微软的SQL数据库在未来将会逐渐边缘化。

 

对此，张粤磊认为开源数据库的接受程度和份额上升是很明显的，开源数据库来代替成本相对较高的商业数据库其实是大势所趋。但商业数据库在新形势下也不会坐以待毙，我们看到Oracle的12C版本也在积极拥抱时代变化，向云端转型。所以在云计算大数据的环境下，数据库产品必然向虚拟化和开源化的方向发展，未来我们会看到更多不同场景产品替代的景象。

3

技术为业务服务，云数据库是必然产物

“技术是为业务服务的！”在谈到云数据库的发展时，张粤磊这样表示。数据库的虚拟化和开源化是一个大趋势，在这种趋势下，基于公有云的数据库服务符合不少企业的实际业务需求，所以云数据库是大趋势下的必然产物。

 

如果说数据是现代企业的黄金和石油，那么云数据的安全就是企业无法回避的问题。张粤磊表示云数据的安全技术不断加强，但是安全技术的特性注定这一领域不可能一家独大，云数据库的安全需要根据实际采用多种安全技术的架构来切实保证。

企业中最易出现的问题

十多年的工作经历，使得张粤磊不仅对于数据库的发展有很多前瞻性的看法，对于企业的现状也有很多深入的思考。在这次采访中，张粤磊表示他接触的众多企业中，出现频率最高的问题就是数据平台中数据质量的管理和有效集成问题，造成这种问题的原因有两个，一方面是没有一个切实可以操作的元数据与主数据管理流程，另一方面是开发团队在数据仓库的模型构建实践能力不足。

 

那么如何解决这一问题呢？张粤磊表示问题与解决措施总是一一对应的，所以解决措施也应从两方面着手，一方面是构建一套便于操作控制的流程，一方面提升团队在数据分析模型尤其是维度模型上的实操能力。想要了解更多内容的朋友可以参考《传统数仓转型，如何避开数据处理的深坑》。

基于私有云的大数据运维实践

今年是中国数据库技术大会的第八个年头了，作为DTCC大会的老朋友，张粤磊依然给予鼎力支持。张粤磊透露，目前我看到了很多基于云平台DB、应用等系统的运维分享，而基于私有云的各版本大数据系运维的分享还没有看到很多，所以今年的大会将和大家交流飞谷云基于私有云的大数据运维的经验及教训。

机会就在这里

一个不长的问卷调查，用心填写，公平竞争，就有机会来DTCC2017北京现场。

（扫描二维码填写问卷）

PS：中奖结果会在5月5日统一公布，请以工作人员电话通知为准。

 我知道一种学习

○

于坚