【大数据】以航空大数据为例,一窥企业数据架构规划和治理之道

作者介绍

刘庆会主要负责普元大数据治理产品的实施,十年大型企业信息数据治理架构设计与建设经验,为多家大型金融机构、企业设计与规划数据管理整体框架和项目实施。对数据行业有着深入的研究和洞察,并在企业信息化平台建设、数据治理及大数据平台建设有着丰富经验。

声明:本文转自EAWorld(eaworld)公众号


目录大纲:

1、航空业数据治理现状

2、航空业大数据治理的三个发展趋势

3、规划企业数据架构的两种模式

4、规划企业数据架构的三个关键技术

5、总结


一、航空业数据治理现状


目前航空行业数据治理已经逐步开展起来,驱动航空行业开展数据治理工作的因素与证券、银行、通信领域不同。证券行业有证监会33条规定,银行业有银监会要求在2017年7月份开始实施报送数据标准化规范要求,这些外在监管要求促使了证券、银行必须开展数据治理方面的建设。而促使航空行业开展数据治理的主要因素是客户倒逼企业在做,服务行业现在都在做客户精准营销,航空业也不例外。


这些年航空公司的信息化快速发展,积累了很多有价值的数据。但拥有数据,并不意味着拥有数据资产。



如何将企业的数据转化为数据资产?我们知道企业在日常运营过程中产生的数据,只是一些原材料,存在不可知、不可信、不可取等问题。要想将其转化为数据资产,需要借助大数据治理打通数据和信息的通道,从而为挖掘数据价值、业务创新提供决策支持,以满足客户的个性化服务的要求。


通过对国内两家大型航空公司数据治理项目的实施以及中小航空公司数据治理的交流探讨,笔者总结出航空数据现状总体面临着散、乱、难问题,数据资产分布散、数据定义乱、数据管理难,这使得航空业大数据治理呈现出三个趋势。


二、航空业大数据治理的三个发展趋势


趋势1:集中管理企业数据资产


针对分散在企业各个系统的数据资产,对企业数据资产进行盘点,实现对数据资产的统一集中管理。管理的内容包DB数据资产、接口数据资产、报表数据资产、指标标准和企业数据模型等。



趋势2:提升企业数据洞察能力


通过数据治理构建数据洞察能力趋势,举个例子说:小张是销售部门的数据分析员,现在需要做一个2017年“春运”的市场和销售情况分析。他知道需要航班日期、起落机场、机型、收入、成本等这些基本数据,并且这些基础数据来源于航班运控系统。但他想分析中加入航油、腹舱货运,天气对航班的影响。这些数据有没有?从哪里取?连他这个老员工都不清楚,就更不用说新员工了。


通过大数据治理,提升企业对数据资产洞察能力,可以快速定位到需要的数据。



趋势3:规划企业数据架构


简单来说,数据架构就是“人对企业业务的表达、记录,并转化为计算机可处理的格式”,是连接数据与信息的桥梁,部分航空公司为了适应这个趋势,专门成立了数据架构部,负责建立维护管理企业整体数据架构。


我们认为企业的数据架构,主要有三个组件构成,分别是数据标准、企业模型和数据存储结构,如下图所示:



标准在最上层,是总体纲领,企业模型在中层,最下层是数据资源存储结构,层次是这样划分的。但在实际建立的过程中,是一个由下而上的方式,通常是在现有数据存储结构的基础上,设计企业数据模型,然后归并数据项,形成数据标准。


通过大数据治理,可以规划统一、标准的数据架构,为企业信息化建设提供规范和标准,使得在业务层和应用层之间,做各个操作型应用的设计、开发;在各个操作型应用和数据层之间,做业务系统数据结构的设计以及数据集成;在分析型应用和数据层之间,做数据获取、分析,从而指导规范企业信息化建设。


三、规划企业数据架构的两种模式


规划企业数据架构,通常有两种典型的模式:

 

模式一:从技术到业务,也可以称为Bottom-up模式。典型特征是先定义主题域,在从现有操作性数据结构出发,通过调研和访谈,规划数据架构,实现数据到信息的打通。


模式二:从业务到技术,也可以称为Top-Down模式。特征是以业务流程为主线,串联业务单元、业务环节、业务活动。分析业务活动所需的实体、属性。通过调研访谈,确认最终业务用户的数据需求和KPI绩效考核标准。整合在一起,再结合现有的数据结构,规划企业数据架构,实现数据到信息的打通。



两种工作模式没有好坏之分,需要根据企业的数据现状,采用适合自身的工作模式。


从技术到业务模式的经典案例


借助数据治理工具,实现对企业数据资产的盘点,盘点数据资产管理的对象包括数据从业务系统到数据仓库、集市、报表的流转加工关系。盘点的范围是以数仓为核心,构建业务系统到数仓、数仓到数据分析应用的全链路数据资产盘点。



在数据资产盘点的基础参考同业案例或经验,划分数据主题域。在项目中我们借鉴达美航空经验确定了13个数据主题域,同时又分析了数仓的模型中2000多个实体,对现有系统的数据结构进行调研确认,从而构建了企业数据模型。



在企业数据模型的基础上,对数据项进行归并、指标口径的标准化,抽象出数据标准层,形成统一数据架构,提升数据服务能力。


从业务到技术模式的经典案例


模式一以现有企业信息化系统数据结构为基础。模式二以业务流程切入,以业务环节中的获取信息为基础,汇总企业数据项的信息。


下图是某航空公司飞机运行生命周期管理业务流程。从规划发展部做飞机引进计划,到飞机投入运营,再到飞机退出,每个业务环节都会产生业务数据。在梳理的工程中,会从业务部门收集业务流程的各环节涉及的数据集和数据项信息。



然后对数据项进行整合,按照数据项使用的热度,频率、关联度等,整合数据项、代码、指标度量、维度等,在结合(国际/国内)同业经验,形成某业务域的数据架构。


在构建企业统一数据架构过程中会遇到各种问题,在关于设备主题域数据项制定的过程中,就发现了一个飞机号B5917,却存在三个不同的叫法,有的系统叫飞机尾号、有的叫飞机号,还有的叫飞机设备尾号。总之,各系统存在数据项业务含义不统一的地方。在梳理过程中要弄清楚数据的来源,来源不唯一的情况下还要从业务角度划分数据的责任方。最终确定统一的名称和业务含义。


下图是我们在某航空公司构建数据标准示例,我们可以看到,航空业数据标准主要包括指标标准、业务术语、基础编码和数据项。



四、规划企业数据架构的三个关键技术


通过合理规划企业的数据架构,可以打通数据与信息的通道。这里列出了3个关键技术,来帮助企业快速合理地规划企业数据架构,实现数据到信息的转换。


关键技术1:自动化数据资产收集技术


通过自动化数据资产收集,需要完成以下几件事:

  • 梳理全企业数据架构,对企业的数据模型、数据关系、数据处理有清晰化的认识;

  • 对数据资产形成统一的自动化管理,形成企业的元数据库;

  • 对企业数据资产形成多种视图,使数据资产能够对不同用户,有不同视角的展示。


从一定程度上来说,元数据采集的全面性和准确性决定了自动化数据资产收集的成败,是否能够对大数据、数据仓库、关系型/非关系型数据库、数据模型、主流ETL工具等实现自动化的元数据采集是关键。



关键技术2:数据资产自动分类实现技术


通过元数据聚类能力,形成资产密度分类,结合已有的的模型体系进行归类和整合。将收集的元数据分类归集到信息模型上,形成多维度的、完整的模型体系,从而贯通业务技术。这里面需要元数据产品具备自动化的分类引擎以及可扩展的元模型管理能力。



关键技术3:数据资产质量自动监控技术


数据资产质量自动监控,要求能够从数据的准确性、完整性、及时性、一致性等六性的维度,对数据资产的质量进行管理,从数据问题定义、问题发现、问题处理、问题跟踪和问题评估统计5个环节,构建资产质量的闭环管理流程。



五、总结


航空数据现状总体面临着数据资产分布散、数据定义乱、数据管理难等常见问题,集中管理数据资产、提升企业数据洞察能力、规划企业数据架构是航空业应用大数据治理的三大趋势。


其实不只在航空行业,各个行业在将企业数据转化为数据资产的过程中,打通数据与信息的通道都是关键的一环。通过自动化收集、自动化分类、自动化数据质量监控等技术手段,可以辅助企业规划统一、标准的数据架构,最终为数据转化为信息(数据资产)提供可靠、可行的途径。

人工智能赛博物理操作系统

AI-CPS OS

人工智能赛博物理操作系统新一代技术+商业操作系统“AI-CPS OS:云计算+大数据+物联网+区块链+人工智能)分支用来的今天,企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中,利用AI-CPS OS形成数字化+智能化力量,实现行业的重新布局、企业的重新构建和自我的焕然新生。


AI-CPS OS的真正价值并不来自构成技术或功能,而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务数据+分析一体化,这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合,没有颠覆现状的意愿,这些将不可能实现。


领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量,领导者必须在行业、企业与个人这三个层面都保持领先地位:

  1. 重新行业布局:你的世界观要怎样改变才算足够?你必须对行业典范进行怎样的反思?

  2. 重新构建企业:你的企业需要做出什么样的变化?你准备如何重新定义你的公司?

  3. 重新打造自己:你需要成为怎样的人?要重塑自己并在数字化+智能化时代保有领先地位,你必须如何去做?

AI-CPS OS是数字化智能化创新平台,设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端,可以帮助企业将创新成果融入自身业务体系,实现各个前沿技术在云端的优势协同。AI-CPS OS形成的字化+智能化力量与行业、企业及个人三个层面的交叉,形成了领导力模式,使数字化融入到领导者所在企业与领导方式的核心位置:

  1. 精细种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切,进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。

  2. 智能:模型随着时间(数据)的变化而变化,整个系统就具备了智能(自学习)的能力。

  3. 高效:企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力,这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。

  4. 不确定性:数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验,其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域:技术、文化、制度。

  5. 边界模糊:数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化,还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长:

  1. 创造虚拟劳动力,承担需要适应性和敏捷性的复杂任务,即“智能自动化”,以区别于传统的自动化解决方案;

  2. 对现有劳动力和实物资产进行有利的补充和提升,提高资本效率

  3. 人工智能的普及,将推动多行业的相关创新,开辟崭新的经济增长空间


给决策制定者和商业领袖的建议:

  1. 超越自动化,开启新创新模式:利用具有自主学习和自我控制能力的动态机器智能,为企业创造新商机;

  2. 迎接新一代信息技术,迎接人工智能:无缝整合人类智慧与机器智能,重新

    评估未来的知识和技能类型;

  3. 制定道德规范:切实为人工智能生态系统制定道德准则,并在智能机器的开

    发过程中确定更加明晰的标准和最佳实践;

  4. 重视再分配效应:对人工智能可能带来的冲击做好准备,制定战略帮助面临

    较高失业风险的人群;

  5. 开发数字化+智能化企业所需新能力:员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说,创造兼具包容性和多样性的文化也非常重要。


子曰:“君子和而不同,小人同而不和。”  《论语·子路》云计算、大数据、物联网、区块链和 人工智能,像君子一般融合,一起体现科技就是生产力。


如果说上一次哥伦布地理大发现,拓展的是人类的物理空间。那么这一次地理大发现,拓展的就是人们的数字空间。在数学空间,建立新的商业文明,从而发现新的创富模式,为人类社会带来新的财富空间。云计算,大数据、物联网和区块链,是进入这个数字空间的船,而人工智能就是那船上的帆,哥伦布之帆!


新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力,将进一步释放历次科技革命和产业变革积蓄的巨大能量,并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节,形成从宏观到微观各领域的智能化新需求,催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革,深刻改变人类生产生活方式和思维模式,实现社会生产力的整体跃升。



产业智能官  AI-CPS


用“人工智能赛博物理操作系统新一代技术+商业操作系统“AI-CPS OS”:云计算+大数据+物联网+区块链+人工智能)在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能;实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链


长按上方二维码关注微信公众号: AI-CPS,更多信息回复:


新技术“云计算”、“大数据”、“物联网”、“区块链”、“人工智能新产业:智能制造”、智能金融”、“智能零售”、“智能驾驶”、智能城市新模式:“财富空间“工业互联网”、“数据科学家”、“赛博物理系统CPS”、“供应链金融”


官方网站:AI-CPS.NET


本文系“产业智能官”(公众号ID:AI-CPS)收集整理,转载请注明出处!



版权声明产业智能官(公众号ID:AI-CPS推荐的文章,除非确实无法确认,我们都会注明作者和来源。部分文章推送时未能与原作者取得联系。若涉及版权问题,烦请原作者联系我们,与您共同协商解决。联系、投稿邮箱:erp_vip@hotmail.com




  • 4
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
大数据架构是指用于处理和管理大规模数据的技术架构。随着数据量的不断增加,传统的数据管理方法已经不能满足对大数据的处理需求,因此需要建立特定的架构来解决这一问题。大数据架构通常由数据采集、存储、处理和分析等组件构成。 在大数据架构中,数据采集是指通过各种方式收集和获取数据,包括传感器、社交媒体、移动设备等。数据存储是指将采集到的数据存储在分布式存储系统中,如Hadoop分布式文件系统(HDFS)等。数据处理是指对存储的数据进行清洗、转换和加工,以满足具体的分析需求。数据分析是指基于处理后的数据进行各种分析工作,如数据挖掘、机器学习等。 高性能是指在大数据处理过程中,系统能够以高效、稳定的方式进行数据管理和分析。为了实现高性能,通常采用并行计算、分布式处理等技术手段。同时,还需要对系统进行调优和优化,以提高数据处理能力和响应速度。 数据治理是指在大数据环境下对数据进行有效管理和控制,包括数据安全性、数据质量、数据权限、数据合规性等方面。数据治理需要确保数据具有准确性、一致性和完整性,并通过合适的保护措施保护敏感数据的安全。 大数据架构、高性能和数据治理大数据处理过程中的重要组成部分。合理的架构设计和高性能的系统能够提高数据处理效率,而严格的数据治理能够保证数据的可靠性和安全性。因此,在构建大数据系统时,需要综合考虑这些方面,并根据具体需求进行合理选择和配置。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值