【无标题】

大数据智能决策人工智能技术与咨询 

来源：《自动化学报》 ，作者于洪等

摘 要 在全球信息化快速发展的背景下,大数据已经成为一种战略资源.各行各业的决策活动在频度、广度及复杂性上较以往有着本质的不同.决策过程中的不确定性因素增多,决策分析的难度不断加大.传统的数据分析方法以及基于人工经验的决策已难以满足大数据时代的决策需求,大数据驱动的智能决策将成为决策研究的主旋律.该文结合大数据特性,对大数据决策的特点进行了归纳,并从智能决策支持系统、不确定性处理、信息融合、关联分析和增量分析等方面综述了大数据智能决策的研究与发展现状,讨论了大数据智能决策依然面临的挑战,并对一些潜在的研究方向进行了展望分析.

关键词 大数据,智能决策,不确定性,信息融合,关联分析,增量式学习

当今社会处于一个信息技术高速发展时期,数据信息的交互、共享与开放程度持续加快,使得各行业领域的数据信息呈爆炸式增长.“大数据时代” 如约而至,并成为当今社会的代名词.大数据以其蕴藏巨大的经济、社会和科研价值受到社会各界的广泛关注[1].2012 年1 月,达沃斯世界经济论坛发布的大数据报告“Big data,big impact:new possibilities for international development” 将大数据列为和货币与黄金同等重要的新经济资产[2].2012 年5 月,联合国发布的Big Data for Development:Challenges& Opportunities 白皮书指出,大数据是联合国和各国政府的一个历史性机遇,利用大数据进行决策,是提升国家治理能力,实现治理能力现代化的必然要求,可以帮助政府更好地参与经济社会的运行与发展[3].在科研领域,大数据正引领数据密集型科学(Data-intensive science) 的到来,形成继实验科学、理论科学以及计算科学之后的第四科学范式[4],有望推动传统科学的假设驱动模式向基于大数据探索的数据密集型方法转变.在全球信息化快速发展的背景下,大数据已逐渐成为世界各国的基础性战略资源,运用大数据推动社会经济发展正成为趋势.

现阶段加快发展智能经济、智能服务和智能制造是我国经济增长的内在需求和必然选择.目前我国处于工业化和信息化的深度融合时期,我国制造业正处于从价值链的低端向中高端、从中国制造向中国创造转变的关键历史时期,发展基于大数据的人工智能新技术是实现从制造大国向制造强国迈进的战略举措.在此背景之下,国家相继出台了“‘互联网+’ 行动计划” 和“中国制造2025” 战略规划,特别是国务院颁布的“促进大数据发展行动纲要” 和“新一代人工智能发展规划” 都将大数据智能作为重点发展方向,大数据的战略资源地位进一步凸显.近年来,以大数据与人工智能技术为基础的“智能制造[5]” 成为推动大数据从概念到落地的重要模式和手段.从大数据的供给需求来看,智能制造的核心要义便是在两化融合的基础上构建智能分析优化系统“工业大脑”,对大数据进行智能化分析进而实现智能决策.

决策存在于人类一切实践活动当中.小到一台机器的操作,大到一个国家的治理,都离不开决策.例如,工业领域的操作优化与资源分配、商业领域的个性化推荐与供应商选择、交通领域的车流控制与路径导航、医疗领域的疾病诊断与治疗策略等都属于决策范畴.随着社会节奏的持续加快,来自各领域行业的决策活动在频度、广度及复杂性上较以往都有着本质的提高.决策问题的不确定性程度随着决策环境的开放程度以及决策资源的变化程度而越来越大.传统的基于人工经验、直觉及少量数据分析的决策方式已经远不能满足日益个性化、多样化、复杂化的决策需求.在当前信息开放与交互的经营环境下,机遇与挑战并存.如何把握机遇,这就需要企业或组织具备出色的决策能力.在这个过程中大数据正扮演着越来越重要的角色.

大数据作为一种重要的信息资产,可望为人们提供全面的、精准的、实时的商业洞察和决策指导.杨善林院士等指出,大数据的价值在于其“决策有用性”,通过分析、挖掘来发现其中蕴藏的知识,可以为各种实际应用提供其他资源难以提供的决策支持[6].美国应用信息经济学家Hubbard 认为“一切皆可量化”,并积极倡导数据化决策[7].纽约大学Provost教授等认为数据科学的终极目标就是改善决策[8].从数据到知识,从知识到决策,是当前大数据智能的计算范式[9],研究大数据的意义就是不断提高“从数据到决策的能力”.随着大数据技术的发展,人们传统的决策模式与思维方式正在发生着变革,基于大数据的决策方式正逐渐成为决策应用与研究领域的主旋律,大数据决策时代已经到来.大数据能够突破事物之间隐性因素无法被量化的瓶颈,充分阐述生产的主客体和生产全过程、全时段的客观状态,通过智能化分析和预测判断来提高企业的决策能力[10].在商业领域,利用大数据相关分析,可以更加精准地了解客户的消费行为,帮助决策者挖掘新的商业模式,制定商品价格,实现供应商协同工作,缓和供需之间的矛盾,控制预算开支.例如,全球零售巨头沃尔玛(Wal-Mart),通过对销售交易大数据的知识获取,成功用于价格策略和推荐活动中的决策支持[11].而在工业领域,为实现智能制造,每个影响生产决策的因素都可以经过工业大数据的预测,以直观明了的量化信息形式加以呈现,方便决策者对制造能力进行整体评估,进而快速有效地制定各项生产决策,优化劳动力投入,避免产能过剩[10].目前,百度的工业大数据监测平台已经应用到汽车、日化等制造行业.三一重工则利用大数据分析技术为智能工程机械物联网提供决策支持,推进了制造服务化的步伐.Google 公司旗下的AlphaGo 以4:1 的总比分战胜世界围棋冠军李世石同样是大数据决策颇具代表性的案例.

基于大数据的科学决策,是公共管理、工业制造、医疗健康、金融服务等众多行业领域未来发展的方向和目标.如何进行大数据的智能分析与科学决策,实现由数据优势向决策优势的转化,仍然是当前大数据应用研究中的关键问题.然而,对大数据的分析和处理在不同行业和领域均存在着巨大的挑战,大数据的大体量、高通量、多源异构性和不确定性等对传统的数据处理硬件设备和软件处理方法均构成前所未有的挑战.目前,机器学习、数据挖掘及统计理论等传统理论方法已经广泛地应用于大数据分析,但多数方法是建立在“独立同分布” 的假设之上,难以应对大数据的不确定性显著、关联复杂、动态增长、来源和分布广泛等问题,多数只能挖掘到底层的数据特征,而对于挖掘高层次的符合人类认知的知识依然无法取得较好的效果,难以高效地将大数据转化为决策价值.基于大数据的智能决策是一门集应用性和科研性于一体的学科领域,目前还存在众多待研究的问题.大数据智能决策在内涵外延、模型理论、技术方法及实施策略等方面还需要人们继续投入更多的研究与实践.

本文旨在综述大数据决策的特点以及大数据决策技术的发展现状,分析大数据智能决策面临的问题与挑战,并对一些潜在研究方向进行展望.文章结构如下:第1 节介绍了大数据的概念及特性,总结了大数据决策的特点; 第2 节从智能决策支持系统、基于不确定性分析的智能决策、基于信息融合的智能决策、基于关联分析的智能决策和基于增量分析的智能决策五个方面综述了大数据智能决策的研究与发展现状; 第3 节讨论了大数据智能决策面临的挑战与发展趋势; 第4 节为结束语.

1 大数据决策

1.1 大数据的概念及特性

由于不同领域的大数据在特性上存在差异,并且人们分析大数据的背景和应用大数据的目的不同,因此不同的领域专家对大数据的定义也各不相同.高德纳咨询公司、维基百科、美国国家科学基金会分别从不同的角度给出了大数据的定义.我国的《工业大数据白皮书(2019 版)》还对工业大数据进行了定义[12].简言之,大数据就是无法在合理时间内利用现有的数据处理手段进行诸如存储、管理、抓取等分析和处理的数据集合[13].

有关大数据的特性,业界普遍将其归纳为4V 特性:一是数据体量(Volume) 大,如一些电商企业日常处理PB 级别的数据已经常态化; 二是数据类型多样(Variety),如在工业大数据中数据类型包含了数值、文本、图片、音频、视频以及传感器信号等;三是大数据的价值(Value) 巨大,但价值密度稀疏,需要通过分析和挖掘来获取数据当中有价值的信息;四是大数据的高通量(Velocity),它除了指数据高速产生以外,还意味着数据的采集与分析过程必须迅速及时,以满足用户“及时、实时” 的决策需求.

在特定领域,大数据还有着特有的性质.如在工业领域,人们还强调大数据的实时性、闭环性、强关联性、多层面不规则采样性、多时空时间序列性等[14]; 在管理与商业领域,人们更关注大数据的商用价值,并提出大数据应用的5R 模型,即相关性(Relevant)、实时性(Real-time)、真实性(Realistic)、可靠性(Reliable)、投资回报(ROI)[13].在科研领域,Wang 等着重分析了大数据的不确定性特征[15].Wu等则从大数据的异构(Heterogeneous)、自治(Autonomous)、复杂(Complex)、演化(Evolving) 四个角度提出了描述大数据特性的HACE 定理[16].

1.2 大数据决策及其特点

决策是人们为实现某一特定的目标,在占有一定的信息和经验(知识) 的基础上,根据主客观条件的可能性,提出各种可行方案,采用一定的科学方法和手段,对解决问题的方案进行比较、分析和评价,并最终进行方案选择的全过程.从本质上来讲,决策通常是目标驱动的行为,是目标导向下的问题求解过程,该过程也广泛地被认为是人类的认知过程.大数据决策便是以大数据为主要驱动的决策方式.随着大数据技术的发展,大数据逐渐成为人们获取对事物和问题更深层次认知的决策资源,特别是人工智能技术与大数据的深度融合,为复杂决策的建模和分析提供了强有力的工具.

随着大数据应用越来越多地服务于人们的日常生活,基于大数据的决策方式将形成其固有的特性和潜在的趋势,在此我们将它们一并归纳为大数据决策的特点.在固有特性方面:大数据的实时产生及动态变化决定了大数据决策的动态性; 大数据的多方位感知意味着通过多源数据的整合可以实现更加全面的决策; 大数据潜在的不确定性也使得决策问题的求解过程呈现不确定性特征.在潜在趋势方面:相关分析或将代替因果分析,成为获取大数据隐含知识更有效的手段; 用户的兴趣偏好在大数据时代将更受关注,更多的商业决策向满足个性化需求转变.基于以上理解,本文对大数据决策的特点进行如下总结:

1) 大数据决策的动态特性

大数据是对事物客观表象和演化规律的抽象表达,其动态性和增量性是对事物状态的持续反映.不可否认的是,人们在决策过程中的每一步行动都将影响事物的发展进程,并全程由大数据所反映.此时决策问题的描述以及决策求解的策略都需要跟随动态数据给予及时调整,通过面向大数据的增量式学习方法实现知识的动态演化与有效积累,进而反馈到决策执行当中.大数据决策的动态特性决定了问题的求解过程应该是一个集描述、预测、引导为一体的迭代过程,该过程须形成一个完整的、闭环的、动态的体系结构.简要来说,大数据环境下的决策模型将是一种具备实时反馈的闭环模型,决策模式将更多地由相对静态的模式或多步骤模式转变为对决策问题动态描述的渐进式求解模式.

2) 大数据决策的全局特性

截至目前,人们已经开发出多种多样的决策支持系统,但多数是面向具体领域中的单一生产环节或特定目标下的局部决策问题,往往无法较好地实现全局决策优化与多目标任务协同.在信息开放与交互的大数据时代,大数据的跨视角、跨媒介、跨行业等多源特性创造了信息的交叉、互补与综合运用的条件,这促使了人们进一步提升问题求解的关联意识和全局意识.在大数据环境下决策分析会更加注重数据的全方位性,生产流程的系统性、业务各环节的交互性、多目标问题的协同性.通过多源异构信息的融合分析,可以实现不同信源信息对全局决策问题求解的有效协同.基于大数据的决策系统,对每个单一问题的决策,都将以优先考虑整体决策的优化作为前提,进而为决策者提供企业级、全局性的决策支持.

3) 大数据决策的不确定性特征

一般而言,决策的不确定性来源于三个方面:一是决策信息不完整、不确定而导致的决策不确定性;二是决策信息分析能力不足而导致的决策不确定性[17]; 三是决策问题过于复杂而难以建模导致的不确定性.大数据决策的不确定性不外乎以上三个方面.在信息不完整和不确定方面,首先,大数据具有来源和分布广泛、关联关系复杂等特性,对于多数企业而言,即便借助各种先进的数据收集手段尽可能地将各种信源数据进行整合,但仍难以保证信息的全面性和完整性; 其次,大数据固有的动态特性决定了大数据的分布存在随时间变化的不确定性; 另外,大数据中普遍存在的噪声与数据缺失现象决定了大数据的不完备、不精确性.在大数据分析能力方面,显然现有的大数据分析处理技术还存在着不足,诸如多源异构数据融合分析、不确定性知识发现及大数据关联分析等方面仍是当前颇具挑战的研究方向.在决策问题建模方面,在一些非稳态、强耦合的系统环境下,建立精确的动态决策模型往往异常困难,比如流程工业中的操作优化决策.现阶段面向大数据的决策问题求解,人们通常使用满意近似解代替精确解,以此保证问题求解的经济性和高效性.这种近似求解方式实际上也反映了