“数据中台”是互联网界的网红概念,有人一度认为它是改变互联网格局的产品,也有人认为是一种无奈的妥协。但不可否认的是,在大数据时代到来之时,“数据中台”标志着一种对数据最高姿态的重视。
概念提出6年后的今天,同样的问题也摆在了数据采集与洞察领域:未来的智慧运维时代,是否仍有数据中台的一席之地?
“数据中台”的迷思:DT时代是否需要它?
2016年,阿里率先提出“数据中台”的概念。
随着科技高速发展,产业IT化已经朝向DT(Data technology)化发展。数据业务场景的增加和数据量的爆炸式增长,都标志数据被摆在史无前例的重要位置。企业发现,在DT时代,数据变成了开疆拓土的弹药。然而,彼之蜜糖吾之砒霜。数据也成为很多企业的负荷,因为这些“弹药”,是不同“口径”的。为快速响应业务的需求,不同业务线往往会自己扯团队干起开发,或者进行设备迭代。业务场景的数字化带来数据的复杂化,数据的复杂化导致业务线之间数据很难共享互通,导致了烟囱式的数据孤岛。企业各业务线之间的数据呈割裂态势,不利于上层的介入决策不说,盘算投入产出比的时候更让人不忍直视。这一点在数字化较为激进的金融领域尤其明显。
一只脚迈进DT时代的产业现状大体如此,数据中台的概念也随之诞生。数据中台的核心是:完成一线数据的汇聚处理避免数据的重复加工,通过数据服务化,提高数据的共享能力,为企业沉淀数据价值,赋能应用。经过数据中台的加工,后端能够拿到便于批量处理的数据,对前台业务有更好的指导作用。听起来似乎较为理想,但这种模式能持续多久,业界也各执一词。
“数据孤岛”的存在,已经成为了一个普遍共识。数据中台概念的提出,标志着产业正视数据的底层价值,并终于着手探索“数据孤岛”的应对办法。
反对者认为,数据中台的办法,相当于派一艘船在岛与岛之间送信,用极其原始的方法解决端到端的信息差,是用预处理的手段解决掩饰背后的数据库无法应对复杂场景和大量读写需求的权宜之计,仅仅属于最低限度的补救措施,注定无法长期存续。
从目前的情况看,无论“数据中台”模式是否长期有效,在IT领域,短期内还是解了近渴,IT化的企业得到了初步的数据价值沉淀。
在数据采集领域中台模式并无根本作用
在数据采集与洞察领域,情况便与IT圈大相径庭。部分正在数字化的企业为了解决数据采集中的数据孤岛,跟风搭建数据中台,殊不知这样弊大于利。
在IT领域,即便已经出现数据复杂化的趋势;随着业务拓展数据的场景和类型,相对于企业数字化的采集场景,也是相对可控的。这种可控性,使得按照IT的视角,数据可以按照商品、交易、用户、供应链等线索划分成为不同的主题域,中台足以应付,也能够沿用底层的传统数据库进行存储和处理。
在企业数字化采集场景中,最大的变量是过程,而不是一个个已经形成结果的数据。产业升级撞上信创浪潮,涌入各产业的智能终端指数级增长,让设备的洞察与数据的采集面临前所未有的挑战。这些终端,每一个都是一个观察者和反馈者,它们彼此之间采用不同的数据范式,遵循不同的协议。
这就导致采集场景的数据孤岛要更为严重。此外,企业需要扩大业务规模的时候,自动化的趋势进一步加强,终端池随之进一步扩大,其数据孤岛的增长速度远高于开辟IT化业务线。如果按照数据中台的做法,就必须不断修改融合模型,很显然这样的做法杯水车薪。
不同于企业IT化,进入DT时代后,后发进行基础设施数字化的企业,其针对数据采集的需求基于机器而非人,这就决定了数据源是无法中心化的,分布式部署采集数据、云边端一体的整体运维架构会是唯一的发展方向。
未经处理的原始数据便于专家结合专业经验进行诊断处理,数据并不直接产生价值,却是最可靠的避险工具。数据孤岛的产生也有这方面原因:设备的机器语言是最好的“脉象”,技术专家需要保持其原始性和各异性。数据中台加工数据,则相当于让专家“悬丝诊脉”。
基础设施的数据异常需要第一时间传递给决策者,加一层中台实体,对于即时响应、避免加入有数据风险的中间环节等需求来说,则是违背了奥卡姆剃刀原则(即“简单成就高效原理”)。
在数据采集领域,中台的概念并无根本作用。最适合发展需求的运维工具应该是这样:能够洞察一切设备,听懂它们各自的数字“语言”,并如实传递给决策者。
不馋隔壁“数据中台”智慧运维工具已问世
终端的生命周期较长,决定了在数据采集领域,数据孤岛将长期存在。现在都在升级智慧运维,数据采集的智慧运维应该如何突破?解决的办法,就唯有从底层下手。在数据采集领域,最大的问题,就是设备数据的庞大和异构化。
预见到数据在将来运维中的复杂性和重要性,美信时代自主研发了Big River四合一超融合数据库。与传统数据库存在难于以扩展、数据在导入之前需要定义好模型的等限制不同,Big River数据库集表状数据库、KV数据库、时序数据库、内存数据库于一体,兼容各类主流数据格式。基于Big River数据库,美信时代开发了通用一体化数据采集与洞察平台监控易。得益于对各类数据的支持,监控易具备了洞察一切智能终端的基础,并能快速适配一切设备和协议,完全支持各类设备的数据采集需求。Big River数据库的独特分布式架构,在云计算、物联网为重点突破方向的今天显然更具优势,让其高写入性能、高扩展性、高可用性、高并发处理能力、海量数据存储查询特性甚至能在工业级别场景下的数据采集中游刃有余,让监控易具备低成本、快速适配一切设备和协议等独到优势,完全满足信创国产化替代的需要。从“内修一口气”层面,监控易已经具备了打破数据采集领域端到端数据孤岛的根基。
应对产业数字化带来产业规模和终端池的扩张,监控易也体现出“外练筋骨皮”的优势。依托国内领先的云、边、端SaaS架构技术,监控易支持五级架构运维部署,便于企业进行分布式数据采集。
打通了数据孤岛仅仅是开始,如何发挥数据的价值才是最终目的。在数据采集领域,数据孤岛对人效的严重耗费才是根本问题,与采集层面的分布式部署不同,数据处理层面则需要最大程度的中心化——故障的快速定位才能便于专家经验的落地。监控易能快速识别网络内的设备并生成拓扑图,何处告警一目了然,并实现短信、邮件、APP等多端精准告警触达,极大节省了人力巡检成本。
借助分布式架构和数据可视化,监控易曾在江苏省高速公路监控运维平台建设项目中,克服了基础设施离散、终端数量庞大、设备种类复杂的重重挑战,总监控纳管设备达数万台,实现了该省的路网设施监控一体化运维,实现了“一屏尽览全路网”的喜人成果,再一次验证了监控易带来的产业数字化扩展能力。
凭借监控易,数据的采集与设备洞察已经不再是产业数字化的瓶颈。为了便于企业用户进行数字化拓展,监控易还具备低代码开发能力,极大降低企业用户的使用、培训门槛。低代码是远超搭建中台的赋能方式,这一点即便在IT领域也逐渐成为一种共识。
通过自研超融合数据库、云-边-端协同、低代码开发的领先产品优势,监控易目前广泛应用于政府、军工、金融、电力、石油石化、交通、医疗等多个领域,纳管设备总量超百万台。
在数据采集与设备洞察赛道,也曾遭遇和IT领域类似的数据孤岛问题。其区别在于,IT领域对数据场景的挖掘启动更早而基础设施数据库的迭代进度迟滞,从而导致需要引入数据中台进行缓冲;数据采集领域却没有这样的窗口期,要一步迈向智慧运维,只能从数据烟囱孤岛浮现之初,就摒弃中台思想,直接和数据对话,这才是唯一正确的路径。