【金猿人物展】天云数据雷涛：从数据湖到湖仓一体再到数据编织，完成的是燃油车到油电混再到纯电技术的改造...

‍

雷涛

本文由天云数据CEO雷涛撰写并投递参与“数据猿年度金猿策划活动——2022大数据产业趋势人物榜单及奖项”评选。

‍数据智能产业创新服务媒体

——聚焦数智 · 改变商业

---

这一两年，北美以Facebook、谷歌为驱动的存算分离的虚拟数仓架构，正在非常快速的洗牌现代的数据融合市场。其大的背景驱动是市场正在经历从数字化转向信息互联网和产业互联网阶次性的台阶变化。在这种变化之下，其实背后的技术驱动还是非常清晰很明显的，就是以Java、SQL为核心的流程驱动业务转向了AI和分布式这些技术框架的数字驱动业务。产业互联网带来了数据使用方式上的一次革命性升级。

1、第一个变化，就是数据新鲜度的变化。我们在使用什么时间的数据，是在消费以天、小时级、分钟级、秒级还是百毫秒级的数据？

俄乌战争，两个相同工业体系相同装备体系的国家，用不同的军事思想和技术手段打了一场令人瞠目结舌的仗。信息技术已经改变战争模式， 如果不能支撑实时性的战情数据流，不能确保数据的鲜活度，从本质上来讲双方打得就不是同一场战争了，因此市场需要高度重视HTAP系统提供新鲜分析的重要性。

今年一篇论文《我的HTAP系统有多好？》，谈到的第一个技术指标就是Freshness（新鲜度）。就你在消费什么时间的数据？用什么样的一个方式？如果基于传统BI架构的话，我们需要从Oracle、MySQL这些交易型的生产系统里把数据同步出来，用ETL的方式或者是批处理的方式加工到数据仓库里头。所以在数据仓库里,待分析的原材料已经是以天为时间的信息了。

你是在消费以天、小时级、分钟级、秒级还是百毫秒级的数据？我们怎么去把一些从最早的Storm、Spark Streaming这些流计算的框架到现在比较成熟的像Kafka、Flink的框架来驱动一个流数据作业？比如量化交易里,我们怎么去对冲击成本？对实时的挂单数据去做一个预测？这个肯定要基于3秒之内的挂单数据来完成。

现在的一些开源框架，通过工程化的手段能够被市场接受了。把TP和AP做融合，成为湖仓一体的概念；然后把MPP