DataPipeline：让数据生产力的历史进程，再前进一步

明论资本对话DataPipeline:让数据生产力的历史进程,再前进一步。

当下,数据所引发的生产要素变革,正在重塑着我们的需求、生产、供应和消费,改变着社会的组织运行方式。对于企业来讲,其竞争的本质是在“外部环境、生产环境、供应链协同等”复杂且不确定性强的市场环境下资源配置效率的竞争。数据,作为企业资源的具体表现形式和重要载体,其管理效能的高低直接决定了企业的生存能力。

随着数据技术的更新迭代和市场需求的快速升级,数据管理在内外部作用下逐渐被赋予新的责任。在技术侧,数据源的架构在变得繁多和复杂,数据应用也逐渐变得更加垂直和场景化,这也倒逼了现代数据架构飞速发展。在业务侧,其被要求回答:如何快速感知市场变化、识别潜在客户需求,如何增强决策准确性、实时性,如何构建能变革业务的数据驱动的应用等。数据管理,已经从一项技术管理工作升级为系统工程。DataOps这样的新型数据管理方法,恰逢其时地走到台前,弥补抽象的“采、存、管、用”发力不足的问题。

一千个人眼中有一千种对数据管理的“想象”。今天,我们邀请到DataPipeline的创始人兼CEO陈诚,走近DataPipeline,看这家专注于下一代数据基础设施的公司是如何帮助企业实现基于DataOps理念的“全链路”数据管理。

行业革新,数据管理识变应变求变

“面对不确定性新常态,对于各行各业的企业管理者来说,如何高效地利用手头的数据,实时、精确地感知和洞察业务变化,更好地提高企业的运营效率、寻找业务的增长点是每个企业都需要面对的必修课。

——DataPipeline创始人兼CEO陈诚”

明论:在大数据行业飞速发展的今天,数据管理的重要性是各行业管理者的共识。从您的观察来看,在过去的 20 年时间里,数据管理发生了什么变化?

陈诚:随着新的业务形态不断出现,各行业的客户行为也发生着日新月异的变化,例如服务的场景化社交化、营销渠道的线上线下一体化等,这对传统的经营模式带来了巨大的挑战。企业的推广获客成本、营销流量成本和签单成本越来越高,流量精准度和转化率不足,利润慢慢地被吞噬。如何高效地利用手头的数据,实时、精确地洞察业务变化,更好地提高企业的运营效率,寻找在“感知、决策、执行”上的新发力点是每个企业都需要面对的必修课。

同时,大量行业都非数字原生,其经历了漫长的业务电子化和经营线上化的信息化及数字化过程,且均围绕其各个业务板块的业务流程进行,数据逐渐渗透至企业设计、生产、管理、服务和运营等的全流程。这天然地导致数据来源多样,数据结构复杂,系统之间相互割裂,数据难以互联互通,数据孤岛大量存在。

在数据基础层,业务形态的丰富带来繁多的数据种类,例如支撑核心系统的新型的NewSQL TP,各类支持系统、各运营类应用的场景化和SaaS化,也包括了各类IOT设备和工业协议的显著增多。同时,数据传输层相应出现各类相匹配的数据获取方式。业务应用与数据应用的上层分布也发生了很大变化。除了传统的BI应用外,现在还出现了更为复杂且智能的嵌入式BI和增强BI。对于面向数据业务的应用,有各类基于营销、客户服务、产品迭代、风险管理等不同场景的数据驱动型应用的落地,而构建这些应用不只需要简单的业务逻辑梳理,而是需要对实体数据的探查和推演。

技术场景的快速分化产生大量不同特性的存储与计算引擎、信创大势