大数据技术在过去10多年中极大改变了企业对数据的存储、处理和分析方式。如今,大数据技术逐渐成熟,涵盖了计算、存储、数仓、数据集成、可视化、NOSQL、OLAP分析、机器学习等丰富领域。在未来,大数据技术还会往引擎容器化、大数据机器学习、数据湖等方面不断延伸。
近日,腾讯大数据技术沙龙首站——Angel专场在深圳举办,腾讯大数据团队详细披露了腾讯大数据十年发展历程,并全面展示了腾讯第三代全栈机器学习平台Angel在大模型数据训练、深度学习、图计算等方面的技术能力,也深入分享了在微信支付、效果广告、微众银行等场景上的应用案例。
会上,腾讯大数据负责人刘煜宏正式发布了“星火计划”,他表示:“在腾讯大数据十年的发展历程中, 我们不断追求技术创新, 集群数从30台到突破35000台。2016年,我们打破了计算奥运会之称的Sort Benchmark 4项世界纪录,性能全球领先。腾讯大数据的发展从开源中受益,秉承着开放共享的精神, 今天我们也推出技术共享的‘星火计划’,希望能够助力和反哺大数据生态繁荣。”
腾讯大数据发展“三部曲”
作为大数据领域的前沿探索者,腾讯大数据从2009年开始, 经历离线计算、实时计算与机器学习三个阶段,在实践中积累了大量的经验。