第11章 未来信息综合技术

近几年出现的新知识、新产品，主要包括：信息物理系统(CPS)、人工智能(AI)、机器人、边缘计算、数字孪生、云计算和大数据等，其实核心仍是计算机技术延申

11.1信息物理系统技术概述

11.1.1信息物理系统的概念

信息物理系统是控制系统、嵌入式系统的扩展与延伸，其涉及的相关底层理论技术源于对

嵌入式技术的应用与提升。

定义：

成先进的感知、计算、通信、控制等信息技术和自动控制技术，构建了物理空间与信息空间中

人、机、物、环境、信息等要素相互映射、适时交互、高效协同的复杂系统，实现系统内资源

配置和运行的按需响应、快速迭代、动态优化。

基于硬件、软件、网络、工业云等一系列工业和信息技术构建起的智能系统其最终目的是

实现资源优化配置。实现这一目标的关键要靠数据的自动流动，在流动过程中数据经过不同的

环节，在不同的环节以不同的形态(隐性数据、显性数据、信息、知识)展示出来，在形态不

断变化的过程中逐渐向外部环境释放蕴藏在其背后的价值，为物理空间实体“赋予”实现一定

范围内资源优化的“能力”。因此，CPS的本质就是构建一套信息空间与物理空间之间基于数据

自动流动的状态感知、实时分析、科学决策、精准执行的闭环赋能体系，解决生产制造、应用

服务过程中的复杂性和不确定性问题，提高资源配置效率，实现资源优化。

首先CPS是个系统，它整合了很多信息技术，目的是在一定空间内实现自动资源的优化、状态感知、问题分析并做出决策并且闭环的，这样可以解决生产制造、应用服务过程中一些复杂不确定的问题，提高资源利用率，实现资源优化。

CPS目标实现靠的是数据的自流动，自流动是自动的，并且经过不同的环节有不同的形式展现，然后形态的不断变化也释放出背后蕴藏的价值。

11.1.2CPS的实现

1.CPS的体系架构

单元级、系统级、SoS级。

1).单元级

这是最小的单元体系结构，是CPS不可分割的最小单元，本质是通过软件对物理实体及环境进行状态感知、计算分析，并最终控制到物理实体，构建最基本的数据自动流动闭环，形成物理世界和信息世界的融合交互(还要具有通信功能)。

单元级CPS是具备可感知、可计算、可交互、可延展、自决策功能的CPS最小单元，一个智能部 件、一个工业机器人或一个智能机床都可能是一个CPS最小单元。

2).系统级

多个最小单元(单元级)通过工业网络(如工业现场总线、工业以太网等),实现更大范围、更宽领域的数据自动流动，实现了多个单元级CPS的互联、互通和互操作，进一步提高制造资源优化配置的广度、深度和精度。

在单元级CPS功能的基础上，系统级CPS还主要包含互联互通、即插即用、边缘网关、数据互操作、协同控制、监视与诊断等功能。

互连互通、边缘网关和数据互操作主要实现单元级CPS的异构集成；

即插即用主要在系统级CPS实现组件管理，包括组(单元级CPS)的识别，配置，更新和删除等功能

协同控制是指对多个单元级CPS的联动和协同控制等；

监视与诊断主要是对单元级CPS的状态实时监控和诊断其是否具备应有的能力。

3).SoS级

多个系统级CPS的有机组合构成SoS级CPS。例如，多个工序(系统的CPS)形成一个车间级的CPS或者形成整个工厂的CPS。

SoS级CPS主要实现数据的汇聚，从而对内进行资产的优化和对外形成运营优化服务。其主要功能包括：数据存储、数据融合、分布式计算、大数据分析、数据服务，并在数据服务的基础上形成了资产性能管理和运营优化服务。

2.CPS的技术体系

CPS总体技术、CPS支撑技术、CPS核心技术。

CPS总体技术：系统架构、异构系统集成、安全技术、试验验证技术等

CPS支撑技术：智能感知、嵌入式软件、数据库、人机交互、中间件、SDN(软件定义网络)、物联网、大数据。

CPS核心技术：虚实融合控制、智能装备、MBD、数字孪生技术、现场总线、工业以太网、太网、CAX\MES\ERP\PLM\CRM\SCM等。

概括为四大核心技术要素：

"一硬"(感知和自动控制)、"一软"(工业软件)、"一网"(工业网络)、"一平台"(工业云和智能服务平台)。

感知和自动控制是CPS实现的硬件支撑；工业软件固化了CPS计算和数流程的规则，是CPS核心；工业网络是互联互通和数据传输的网络载体；工业云和之恩服务平台是CPS数据汇聚和支撑上次解决方案的基础，对哇提供资源管控和能力服务。

1).感知和自动控制

①智能感知技术。CPS使用的主要是传感器技术，传感器感受到的信息转电信号或其他形式输出。

②虚实融合控制技术：是多层"感知-分析-决策-执行"循环，状态感知是基础，实时的向更高层次同步或反馈。

包含内容：嵌入控制、虚体控制、集控控制、目标控制四个层次。

嵌入控制：针对物理实体控制

虚体控制：信息空间进行的控制计算，针对的是信息虚体

集控控制：指在信息空间内，主要通过CPS总线对信息虚体的集成和控制

目标控制：指在实际生产的测量结果或追溯信息收集到产品数据过程中，通过即时比对判断来生产是否达成目标。

2).工业软件

专用于工业领域，提高生产活动效率和智能，营造网络化、协同化、开放式环境。

3).工业网络

CPS中的工业网络技术是基于分布式的全新范式，由于各种智能设备的引入，设备可以相 互连接从而形成一个网络服务。每一个层面，都拥有更多的嵌入式智能和响应式控制的预测分析；每一个层面，都可以使用虚拟化控制和工程功能的云计算技术。与传统工业控制系统严格的基于分层的结构不同，高层次的CPS是由低层次CPS互连集成，灵活组合而成。

4). 工业云和智能服务平台

工业云和智能服务平台通过边缘计算、雾计算、大数据分析等技术进行数据的加工处理，形成对外提供数据服务的能力，并在数据服务基础上提供个性化和专业化智能服务。

11.1.3信息物理系统的建设和应用

1.CPS应用场景概览

工业领域，智能设计、智能生产、智能服务、智能应用

2.CPS典型应用场景

1).智能设计

产品及工艺设计、工厂设计过程中可在虚拟空间中仿真并迭代改进，提早发现问题减少及避免实际生产的问题。比如产 品及工艺设计场景、生产线/工厂设计场景。

2).智能生产

CPS可以打破生产过程的信息孤岛现象，实现设备的互联互通，实现生产过程监控，合理管理和调度各种生产资源，优化生产计划，达到资源和制造协同，实现“制造”到“智造”的升级。

比如 设备管理应用场景，生产管理应用场景，柔性制造(要求就是能够根据快速变化的需求变更生产 )应用场景。

3).智能服务

通过CPS按照需要形成本地与远程云服务相互协作、个体与群体、群体与系统的相互协同一体化工业云服务体系，能够更好地服务于生产，解决装备运行日益复杂、使用难度日益增大的困扰，实现智能装备的协同优化，支持企业用户经济性、安全性和高效性经营目标落地。

健康管理、智能维护、远程征兆性诊断、协同优化、共享服务。

4).智能应用

工业产品不同于大众消费品，可以将企业用户作为生产工具纳入再生产体系当中，创造服务、获取利润。通过上述“新四基”的建设，将设计者、生产者和使用者的单调角色转变为新价值创造的参与者，并通过新型价值链的创建反馈到产业链的转型，从根本上调动各个参与者的积极性，实现制造业转型。

无人装备、产业链互动、价值链共赢。

3.CPS建设路径

CPS的建设不可能一蹴而就，一定是循序渐进、逐渐深入的，其建设路径可以分为如下几个阶段：CPS体系设计、单元级CPS建设、系统级CPS建设和SoS级CPS建设阶段。

11.2人工智能技术概述

11.2.1人工智能的概念

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能的目标是了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。该领域的研究包括机器人、自然语言处理、计算机视觉和专家系统等。

是否能真正实现推理、思考和解决问题分：弱人工智能和强人工智能。

1.弱人工智能：不能真正实现推理和解决问题，只是表面上的，专用智能。如语音识别、图像处理、物体分割、机器翻译等。

2.强人工智能：达到人类水平的、能够自适应地应对外界环境挑战的、具有自我意识的人工智能，也叫通用人工智能、类人智能。类人(思考和推理类似人)、非类人(机器产生了和人完全不一样的知觉和意识，和人的处理完全不一样)

11.2.2人工智能的发展历程
11.2.3人工智能关键技术

1.自然语言处理(Natural Language Processing,NLP)

自然语言处理涉及的领域主要包括机器翻译(利用计算机实现从一种自然语言到另外一种自然语言的翻译)、语义理解(利用计算机理解文本篇章内容，并回答相关问题)和问答系统(让计算机像人类一样用自然语言与人交流)等

2.计算机视觉(Computer Vision)

使用计算机模仿人类视觉系统的科学，让计算机拥有类似人类提取、处理、理解和分析图像以及图像序列的能力，将图像分析任务分解为便于管理的小块任务。自动驾驶、机器人、智能医疗等领域

3.知识图谱(Knowledge Graph)

知识图谱本质上是结构化的语义知识库，是一种由节点和边组成的图数据结构，以符号形式描述物理世界中的概念及其相互关系。知识图谱就是把所有不同种类的信息连接在一起而得到的一个关系网络，提供了从“关系”的角度去分析问题的能力。

可用于反欺诈、不一致性验证、组团欺诈等，搜索引擎、可视化展示和精准营销方面有很大的优势。需要用到异常分析、静态分析、动态分析等数据挖掘方法。

4.人机交互(Human-Computer Interaction,HCI)

人机交互主要研究人和计算机之间的信息交换，包括人到计算机和计算机到人的两部分信息交换，是人工智能领域的重要的外围技术。

人机交互技术除了传统的基本交互和图形交互外，还包括语音交互、情感交互、体感交互及脑机交互等技术。

5.虚拟现实或增强现实(Virtual Reality/Augmented Reality,VR/AR)

虚拟现实或增强现实是以计算机为核心的新型视听技术。

6.机器学习

机器学习(Machine Learning,ML)是人工智能的核心研究领域之一，它是以数据为基础，通过研究样本数据寻找规律，并根据所得规律对未来数据进行预测。目前，机器学习广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别等领域。

1).定义

研究计算机怎么模拟或实现人类的学习行为以获取新的知识或技能的学科，使计算机重新组织已有的组织结构并不断改善自身的性能。

2).分类

监督学习、无监督学习、半监督学习、强化学习。

监督学习需要提供标注的样本集，无监督学习不需要提供标注的样本集，半监督学习需要提供少量标注的样本，而强化学习需要反馈机制。

• 目前，监督学习在自然语言处理、信息检索、文本挖掘、手写体辨识、垃圾邮件侦测等领域获得了广泛应用。最典型的监督学习算法包括回归和分类等。

• 无监督学习主要用于经济预测、异常检测、数据挖掘、图像处理、模式识别等领域，例如组织大型计算机集群、社交网络分析、市场分割、天文数据分析等。无监督学习常见算法包括Apriori算法、KMeans算法、随机森林、主成分分析等。

• 半监督学习的应用场景包括分类和回归，算法包括一些常用监督学习算法的延伸，这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预测。例如，图论推理算法或者拉普拉斯支持向量机等

• 目前，强化学习在机器人控制、无人驾驶、工业控制等领域获得成功应用。强化学习的常见算法包括Q-Learning、时间差学习等。

按照学习方法的不同，机器学习可分为传统机器学习和深度学习。区别在于，传统机器学习的领域特征需要手动完成，且需要大量领域专业知识；深度学习不需要人工特征提取，但需要大量的训练数据集以及强大的GPU服务器来提供算力。

机器学习的常见算法还包括迁移学习、主动学习和演化学习。

• 迁移学习是指当在某些领域无法取得足够多的数据进行模型训练时，利用另一领域数据获得的关系进行的学习。

• 主动学习通过一定的算法查询最有用的未标记样本，并交由专家进行标记，然后用查询到的样本训练分类模型来提高模型的精度。

• 演化学习基于演化算法提供的优化工具设计机器学习算法，针对机器学习任务中存在大量的复杂优化问题，应用于分类、聚类、规则发现、特征选择等机器学习与数据挖掘问题中。

3). 机器学习综合应用

4).机器 学习的未来

11.3机器人技术概述

11.3.1机器人的概念

“机器人是一自动性、智能性、个体性、半机械半人性、作业性、通用性、信息性、柔性、有限性、移动性等10个特性 的柔性机器。

具有如下3个条件的机器可以称为机器人：

(1)具有脑、手、脚等三要素的个体；

(2)具有非接触传感器(用眼、耳接收远方信息)和接触传感器；

(3)具有平衡觉和固有觉的传感器。

11.3.2机器人的定义和发展历程

第一代机器人：示教再现型机器人。

第二代机器人：感觉型机器人

第三代机器人：智能型机器人

11.3.3机器人4.0的核心技术

机器人4.0主要有以下几个核心技术：包括云-边-端的无缝协同计算、持续学习与协同学习、知识图谱、场景自适应和数据安全。

1.云-边-端的无缝协同计算

2.持续学习与协同学习

3.知识图谱

4.场景自适应

5.数据安全

11.3.4机器人的分类

如果按照要求的控制方式分类，机器人可分为操作机器人、程序机器人、示教再现机器人、 智能机器人和综合机器人。

操作机器人的典型代表是在核电站处理放射性物质时远距离进行操作的机器人。

程序机器人可以按预先给定的程序、条件、位置进行作业。

示教再现机器人与盒式磁带的录放相似，机器人可以将所教的操作过程自动地记录在磁盘、磁带等存储器中，当需要再现操作时，可重复所教过的动作过程。示教方法有直接示教与遥控示教两种。

智能机器人既可以进行预先设定的动作，还可以按照工作环境的改变而变换动作。

综合机器人是由操纵机器人、示教再现机器人、智能机器人组合而成的机器人，如火星机器人

如果按照应用行业来分，机器人可分为工业机器人、服务机器人和特殊领域机器人。

工业机器人包括搬运、焊接、装配、喷漆、检查等机器人，主要应用于现代化的工厂和柔性加工系统中。

比如娱乐机器人包括弹奏乐器的机器人、舞蹈机器人、玩具机器人等(具有某种程度的通用性),也包括根据环境而改变动作的机器人。

主要包括建筑、农业等机器人，主要应用于人们难以进入的核电站、海底、宇宙空间等场合。

11.4边缘计算概述

11.4.1边缘计算概念

边缘计算类似章鱼，章鱼60%神经元在足上，只有40%神经元在头部。

云边缘：云边缘形态的边缘计算，本质也是云，属于整个大的云，它只是处于处在云的边缘，有一定的计算能力，主要的能力提供依赖于云服务或需要与云服务紧密协同，如视频智能接入解决方案就属于此类。

云边缘的能力(计算、分析、处理)依赖于中心云，在它这一步把数据提前处理一定程度，相当于减轻了中心云的负担，也相当于中心云有了扩展和延申。

边缘云：边缘云形态的边缘计算，是在边缘侧构建中小规模云服务能力，服务能力主要由边缘云提供，集中式数据中心侧主要提供边缘云的管理调度能力，如多接入边缘计算（MEC）、CDN等属于此类。

边缘云是在整个大的云外面与公司网络间构筑中小规模的云服务，本质也是云，只是在用户侧，它的作用是类似章鱼的爪子，一些没必要依赖云服务的处理和计算在边缘云处理即可，这样用户也能很快的得到结果。你想想如果所有的用户(公司)都去访问云服务，即使再强大的云服务也有极限，所以构筑的边缘云就可以把一些处理本地化，减轻云服务的负担。

云化网关(边缘网关)：云化网关形态的边缘计算，以云化技术与能力重构原有嵌入式网关系统，云化网关在边缘侧提供协议/接口转换、边缘计算等能力，部署在云侧的控制器提供边缘节点的资源调度、应用管理与业务编排等能力，IoT Edge、Greengrass 等解决方案就属于此类

它的作用是根据协议/接口转换，业务编排，边缘计算等等。

11.4.2边缘计算的定义

边缘计算的业务本质是云计算在数据中心之外汇聚节点的延伸和演进，主要包括云边缘、边缘云和云化网关三类落地形态；以“边云协同”和“边缘智能”为核心能力发展方向；软件平台需要考虑导入云理念、云架构、云技术，提供端到端实时、协同式智能、可信赖、可动态重置等能力；硬件平台需要考虑异构计算能力，如鲲鹏、ARM、X86、GPU、NPU、FPGA等。

边缘计算是在靠近物或数据源头的网络边缘侧。

11.4.3边缘计算的特点

1.联接性：这是基础，各种网络接口、拓扑、部署与配置等等。

2.数据第一入口：它是物理世界到数字世界的桥梁，数据的第一入口。

3.约束性：适应工业现场的环境，防磁、防爆、功耗低。。。

4.分布性：实际部署具有天然的分布式特征。

11.4.4边云协同

云计算擅长全局性、非实时、长周期的大数据处理与分析，能够在长周期维护、业务决策支撑等领域发挥优势；边缘计算更适用局部性、实时、短周期数据的处理与分析，能更好地支撑本地业务的实时智能化决策与执行，此边缘计算与云计算是互补协同关系。

边缘计算既靠近执行单元，更是云端所需高价值数据的采集和初步处理单元，可以更好地支撑云端

应用；反之，云计算通过大数据分析优化输出的业务规则或模型可以下发到边缘侧，边缘计算基于新的业务规则或模型运行。

边云协同：主要包括六种协同：资源协同、数据协同、智能协同、应用管理协同、业务管理协同、服务协同。

资源协同：边缘的计算、存储、网络、虚拟化等等基础资源，边缘云有调度管理能力，同时可与云端协同，接受运单的调度管理策略。

数据协同：边缘节点负责现场/终端数采，初步处理，并上传云端；云端分析并价值挖掘，高效低成本对数据的生命周期并价值挖掘。

智能协同：边缘节点AI模型执行推理，实现分布式智能；云端开展AI的集中式模型训练，并将模型下发边缘节点。

应用管理协同：边缘节点提供应用部署与运行环境，并对本节点多个应用的生命周期进行管理调度；云端主要提供应用开发、测试环境，以及应用的生命周期管理能力。

业务管理协同：边缘节点提供模块化、微服务化的应用/数字孪生/网络等应用实例；云端主要提供按照客户需求实现应用/数字孪生/网络等的业务编排能力。

服务协同：边缘节点按照云端策略实现部分ECSaaS服务，通过ECSaaS与云端SaaS的协同实现面向客户的按需SaaS服务；云端主要提供SaaS服务在云端和边缘节点的服务分布策略，以及云端承担的SaaS服务能力。

11.4.5边缘计算的安全

提供可信的基础设施

为边缘应用提供可信赖的安全服务

保障安全的设备接入和协议转换

提供安全可信的网络及覆盖

11.4.6边缘计算应用场合

1.智慧园区

2.安卓云与云游戏

3.视频监控

4.工业物联网

5. Cloud VR

11.5数字孪生体技术概述

数字孪生体技术是跨层级、跨尺度的现实世界和虚拟世界建立沟通的桥梁，是第四次工业革命的通用目的技术和核心技术体系之一，是支撑万物互联的综合技术体系，是数字经济发展的基础，是未来智能时代的信息基础设施。未来十年将成为“数字孪生体时代”。

11.5.1数字孪生体发展历程
11.5.2数字孪生体的定义
11.5.3数字孪生体的关键技术

建模、仿真和基于数据融合的数字线程是数字孪生体的三项核心技术。能够做到统领建模、

仿真和数字线程的系统工程和MBSE,则成为数字孪生体的顶层框架技术，物联网是数字孪生

体的底层伴生技术，而云计算、机器学习、大数据、区块链则成为数字孪生体的外围使能技术。

1.建模

建模的目的是将我们对物理世界的理解进行简化和模型化。而数字孪生体的目的或本质是通过数字化和模型化，用信息换能量，以使少的能量消除各种物理实体、特别是复杂系统的不确定性。所以建立物理实体的数字化模型或信息建模技术是创建数字孪生体、实现数字孪生的源头和核心技术，也是“数化”阶段的核心。

需求指标、生存期阶段和空间尺度构成了数字孪生体建模技术体系的三维空间。

2.仿真

从技术角度看，建模和仿真是一对伴生体。如果说建模是模型化我们对物理世界或问题的理解，那么仿真就是验证和确认这种理解的正确性和有效性。所以，数字化模型的仿真技术是创建和运行数字孪生体、保证数字孪生体与对应物理实体实现有效闭环的核心技术。

仿真是将包含了确定性规律和完整机理的模型转化成软件的方式来模拟物理世界的一种技术。只要模型正确，并拥有了完整的输入信息和环境数据，就可以基本准确地反映物理世界的特性和参数。

3.其他技术

除了核心的建模仿真技术，目前VR、AR以及MR等增强现实技术、数字线程、系统工程 和MBSE、物联网、云计算、雾计算、边缘计算、大数据技术、机器学习和区块链技术，仍为

数字孪生体构建过程中的内外围核心技术。

11.5.4数字孪生体的应用

制造、产业、城市和战场。

11.6云计算和大数据技术概述

11.6.1云计算技术概述

计算概念的内涵包含两个方面：平台和应用。平台即基础设施，其地位相当于PC上的操作系统，云计算应用程序需要构建在平台之上；云计算应用所需的计算与存储通常在“云端”完成，客户端需要通过互联网访问计算与存储能力。

云计算的服务方式

软件即服务(Software as a Service，SaaS)

在SaaS的服务模式下，服务提供商将应用软件统一部署在云计算平台上，客户根据需要通

过互联网向服务提供商订购应用软件服务，服务提供商根据客户所订购软件的数量、时间的长

短等因素收费，并且通过标准浏览器向客户提供应用服务。

平台即服务(Platform as a Service,PaaS)

在PaaS模式下，服务提供商将分布式开发环境与平台作为一种服务来提供。这是一种分布

式平台服务，厂商提供开发环境、服务器平台、硬件资源等服务给客户，客户在服务提供商平

台的基础上定制开发自己的应用程序，并通过其服务器和互联网传递给其他客户。

基础设施即服务(Infrastructure as a Service,IaaS)

在IaaS模式下，服务提供商将多台服务器组成的“云端”基础设施作为计量服务提供给客户。具体来说，服务提供商将内存、I/O设备、存储和计算能力等整合为一个虚拟的资源池，为客户提供所需要的存储资源、虚拟化服务器等服务。

特征：

在灵活性方面，SaaS→ PaaS→laaS灵活性依次增强。这是因为用户可以控制的资源

越来越底层，粒度越来越小，控制力增强，灵活性也增强。

在方便性方面，IaaS→ PaaS→ SaaS方便性依次增强。这是因为laaS只是提供CPU、

存储等底层基本计算能力，用户必须在此基础上针对自身需求构建应用系统，工作量较大，方

便性较差。

云计算的部署模式：公有云、社区云、私有云、混合云。

云计算发展历程

根据云计算的定义和内涵，这里将从虚拟化技术、分布式计算技术和软件应用模式三个方面对云计算的历史发展进行简要论述。

其中虚拟化技术的发展可以看作是laaS服务模式的发展历程，分布式计算技术的发展可以看作是PaaS服务模式的发展历程，软件应用模式的发展可以

看作是SaaS的发展历程。

11.6.2大数据技术概述

1.定义：

维基百科：

大数据是指其大小或复杂性无法通过现有常用的软件工具，以合理的成本并在可接受的时

限内对其进行捕获、管理和处理的数据集。这些困难包括数据的收入、存储、搜索、共享、分

析和可视化。

Granter：

关注大数据的三个量化指标：数据量、数据种类和处理速度,也是三大挑战。

IBM认为大数据横跨三个层面：数量，速度和品种。IBM将大数据概括为三个V,即大规模

Volume)、高速度(Velocity)和多样化(Variety),这些特点也反映了大数据所潜藏的价值(Value,第四个“V”)。因此大数据的特征可以整体概括为：“海量+多样化+快速处理+

价值”

SAS的定义

SAS在大数据传统“3V”模型定义的基础上加入了“可变性”和“复杂性”两个重要

特征。

2.大数据研究的内容

挑战：

数据获取问题：哪些保持哪些丢弃等等

数据结构问题：如何将语义转换为结构化格式，并继续后续处理

数据集成问题：只有将数据之间进行关联，才能充分发挥数据的作用，因此数据集成也是一项挑战。

数据分析、组织、抽取和建模是大数据本质的功能性挑战。

如何呈现数据分析的结果，并与非技术的领域专家进行交互。

为应对以上挑战给出了大数据分析步骤，5个主要阶段，每阶段研究各自问题：

1)数据获取和记录

数据压缩的问题，如何智能的处理原始数据，海里数据不丢失的压缩，在线数据分析，实时处理流数据，数据来源与追踪和处理等等

2)信息抽取和清洗

数据源本身就很多且复杂，什么格式的数据都有，数据的获取是一个复杂过程；数据源充斥着大量虚假武雄安的数据如何清洗，转换为又凶啊良好组织的数据。

3)数据集成、聚集和表示

大量异构数据如何定位、识别、理解、分类、存储等等，不能杂乱的放在一起，这样不利于后期的分析查询等等

4)查询处理、数据建模和分析

TB级别上可伸缩复杂交互查询技术、缺乏数据库系统间协作，缺少一个有机协作的分析系统。

5)解释

分析的结果仅仅展示给用户是不够的，需要提供更多的附加自恋，比如如何产生的这种结果，附加资料的来源；还有就是丰富的图表等展示，以及简单的交互(用户通过简单点击操作就能得到结果)

3.大数据的应用领域

1)制造业的应用

2)服务业的应用

3)交通行业的应用

4)医疗行业的应用