郭炜
本文由白鲸开源CEO郭炜投递并参与《2023中国企业数智化转型升级先锋人物》榜单/奖项评选。
数据智能产业创新服务媒体
——聚焦数智 · 改变商业
随着数据驱动的理念深入人心,每个企业内部积累越来越多纷繁复杂的大数据,而这些新兴数据源与快速敏捷开发过程给企业数据治理提出新的挑战:
● 应用研发敏捷开发让应用/交易数据快速扩张,数据管理部门无法快速处理和及时响应,传统的数据治理流程产生巨大挑战;
● 新兴数据源,多云、混合云、SaaS快速发展,企业“暗数据”越来越多,大数据领域新兴数据孤岛越来越多,根据Gartner统计目前企业的大数据有68%数据没有被分析,82%企业出现数据孤岛;
● 业务部门数据驱动理念深入,为了满足需求多数企业建立多个数据集市让业务部门自己单独管理,结果是数据指标爆炸增长,数据治理的工作量越做越多,数据治理的范围却越管越少;
● 庞大的数据体系让数据越来越难找,数据治理越来越难,数据范围已经从DataOps扩大到DevOps流程,分析师80%时间都在找数据和验证数据。
这些都是在这个大数据时代下每个企业在数据治理方面提出的挑战。而大模型的出现,让企业通过智能化方法快速理解企业内部数据资产并帮助企业内部数据自发现、自分类、自关联,从而加速企业产生数据到数据产生信息最终转化成知识的效率,实现企业在数据管理方面全面数智化升级。
传统数据治理方式下智能化技术挑战
智能化数据治理的目标是让数据自发现,最终实现业务部门的自服务,这个目标很美好,但是技术落地实践非常复杂。过去Gartner曾经评估过DataFabric的实现难度,很多黄色(中成熟度)和红色(低成熟度&