02-高项学习笔记-第二章《信息技术发展》

前言：本系列文章主要整理了《信息系统项目管理师教程》第四版的知识内容，转载请标明作者和来源，谢谢。

第二章 信息技术发展

2.1 信息技术及其发展

        信息技术是在信息科学的基本原理和方法下，获取信息、处理信息、传输信息和使用信息的应用技术总称。

2.1.1 计算机软硬件

• 计算机硬件是指计算机系统中由电⼦、机械和光电元件等组成的各种物理装置的总称。
• 计算机软件是指计算机系统中的程序及其⽂档，程序是计算任务的处理对象和处理规则的描述；⽂档是为了便于了解程序所需的阐明性资料。
• 在许多情况下， 计算机的某些功能既可以由硬件实现，也可以由软件来实现（如声⾳效果器）。因此硬件与软件在⼀定意义上来说没有绝对严格的界线。

2.1.2 计算机网络

• 从网络作用范围可将网络分类为：个人局域网（PAN）、局域网（LAN）、城域网（MAN）、广域网（WAN）、公用网、专用网。

1、网络标准协议

（1）OSI：开放系统互连参考模型

• 采用分层结构化技术，从上到下分别为物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。（助记：物联（链）网传话，表（不要）用）
• 广域网协议在OSI参考模型的最下面三层操作，定义了在不同的广域网介质上的通信。
• 广域网协议主要包括：PPP点对点协议、ISDN综合业务数字网、xDSL（DSL数字用户线路的统称：HDSL、SDSL、MVL、ADSL）、DDN数字专线、x.25、FR帧中继、ATM异步传输模式。

（2）IEEE 802协议族：

1）IEEE 802规范定义了网卡如何访问传输介质（如光缆、双绞线、无线等），以及如何在传输介质上传输数据的方法，还定义了传输信息的网络设备之间连接的建立、维护和拆除的途径。

2）遵循IEEE 802标准的产品包括网卡、桥接器、路由器以及其他一些用来建立局域网络的组件。

3）IEEE 802规范：

• 802.1（802协议概论）
• 802.2（逻辑链路控制层LLC协议）
• 802.3（以太网的CSMA/CD载波监听多路访问/冲突检测协议）
• 802.4（令牌总线Token Bus协议）
• 802.5（令牌环Token Ring协议）
• 802.6（城域网MAN协议）
• 802.7（FDDI宽带技术协议）
• 802.8（光纤技术协议）
• 802.9（局域网上的语音/数据集成规范）
• 802.10（局域网安全互操作标准）
• 802.11（无线局域网WLAN标准协议）

（3）TCP/IP

• 四层结构：应用层、传输层、网络层、网络接口层
• 各层主要协议：

2、软件定义网络

（1）定义：⼀种新型网络创新架构，是网络虚拟化的⼀种实现⽅式，它可通过软件编程的形式定义和控制网络，其通过将网络设备的控制面与数据面分离开来，从而实现了网络流量的灵活控制，使网络变得更加智能，为核心网络及应用的创新提供了良好的平台。

（2）简称：SDN（Software Defifined Network）

3、第五代移动通信技术

（1）5G相关概念：

• 定义：第五代移动通信技术(5G)是具有高速率、低时延和⼤连接特点的新⼀代移动通信技术。
• 国际电信联盟(ITU)定义了 5G的八大指标，与4G的对比如下表：

• 5G国际技术标准重点满⾜灵活多样的物联网需要。在正交频分多址（OFDMA，多址接⼊技术）和多⼊多出（MIMO，可不增加资情况下成倍的提⾼系统信道容量）基础技术上，5G为⽀持三⼤应⽤场景，采⽤了灵活的全新系统设计。
• 在频段方面，与4G支持中低频不同，5G同时支持中低频和高频频段。其中：中低频满为了支持低时延、高可靠，5G满足覆盖和容量需求，高频满足在热点区域提升容量的需求，为了支持低时延、⾼可靠，5G采用短帧、快速反馈、多层/多站数据重传等技术。

（2）国际电信联盟（ITU）定义了5G的三⼤类应用场景：

• 增强移动宽带：面向移动互联网流量爆炸式增长，为移动互联网用户提供更加极致的应用体验；
• 超高可靠低时延通信：面向工业控制、远程医疗、自动驾驶等对时延和可靠性具有极高要求的垂直行业应用需求；
• 海量机器类通信：面向智慧城市、智能家居、环境监测等以传感和数据采集为目标的应用需求。

2.1.3 存储和数据库

1、存储技术

（1）存储分类根据服务器类型分为：封闭系统的存储和开放系统的存储。

• 封闭系统主要指⼤型机等服务器。
• 开放系统指基于包括麒麟、欧拉、UNIX、Linux等操作系统的服务器。开放系统的存储分为：内置存储和外挂存储。外挂存储根据连接的⽅式分为直连式存储（DAS）和网络化存储（FAS）。网络化存储根据传输协议⼜分为网络接⼊存储（NAS）和存储区域网络（SAN）。
• 常见存储模式的技术与应用对比：

（2）虚拟存储化：

• 存储虚拟化（Storage Virtualization）是“云存储"的核心技术之⼀，它把来自⼀个或多个网络的存储资源整合起来，向用户提供⼀个抽象的逻辑视图，用户可以通过这个视图中的统⼀逻辑接口来访问被整合的存储资源。用户在访问数据时并不知道真实的物理位置。
• 它提高了存储利用率，降低了存储成本，简化了大型、复杂、异构的存储环境的管理⼯作。
• 存储虚拟化使存储设备能够转换为逻辑数据存储。

（3）绿色储存：

• 绿色存储（Green Storage）技术是指从节能环保的⻆度出发，用来设计生产能效更佳的存储产品，降低数据存储设备的功耗，提高存储设备每瓦性能的技术。
• 绿色存储技术的核心是设计运⾏温度更低的处理器和更有效率的系统，⽣产更低能耗的存储系统或组件。（如阿里的浸没式液冷技术）。

2、数据结构模型（应用数据库）

（1）定义：

• 数据结构模型是数据库系统的核心。
• 数据结构模型描述了在数据库中结构化和操纵数据的方法，模型的结构部分规定了数据如何被描述（例如树、表等）。
• 模型的曹总部分规定了数据的添加、删除、显示、维护、打印、查找、选择、排序和更新等操作。

（2）常见的数据结构模型有三种：层次模型、网状模型和关系模型，层次模型和网状模型又统称为格式化数据模型。

• 层次模型：层次模型是数据库系统最早使用的一种模型， 它用“树”结构表示实体集之间的关联，其中实体集（用矩形框表示）为结点，而树中各结点之间的连线表示它们之间的关联。

• 网状模型：用有向图结构表示实体类型及实体间联系的数据结构模型称为网状模型。网状模型用网状结构表示实体类型及其实体之间的联系。网状模型是⼀种可以灵活地描述事物及其之间关系的数据库模型。网状模型可以清晰表达一个事物和另外的几个都有联系的这种非层次关系。

• 关系模型：关系模型是在关系结构的数据库中用二维表格的形式表示实体以及实体之间的联系的模型。

3、常用数据库类型

• 数据库根据存储方式可以分为关系型数据库(SQL)和非关系型数据库(Not Only SQL,NoSQL)。

（1）关系型数据库（SQL）

1）定义：

• 关系数据库是在⼀个给定的应用领域中，所有实体及实体之间联系的集合。
• 解决了网状和层次数据库需要明确数据的存储结构，指出存取路径的问题。

2）关系型数据库支持事务的ACID原则，即：

• 原子性（Atomicity），即⼀个事务步骤要不全部完成，要不⼀个也不会完成
• ⼀致性（Consistency），即事务不会破坏完关系数据完整性
• 隔离性（Isolation），即并发控制，事务间不会相互影响
• 持久性（Durability），即事务提交持久保存
• 备注：这四种原则保证在事务过程当中数据的正确性。

（2）非关系型数据库（NSQL）

1）定义：

• 非关系型数据库是分布式的、非关系型的、不保证遵循ACID原则的数据存储系统。
• NoSQL数据存储不需要固定的表结构，通常也不存在连接操作。
• 在大数据存取上具备关系型数据库无法比拟的性能优势——分布式。

2）分类：

• 键值数据库：类似于哈希表，通过key操作，有很高的性能及扩展性。优势在于简单、易部署、高并发。
• 列存储数据库：数据存储在列族（相关列的分组）中，用来应对分布式存储海量数据。
• 面向文档数据库：可以看作键值数据库的升级版（效率更高），会将数据以文档形式存储。
• 图形数据库：将数据以图的方式存储。

（3）不同存储方式数据库的优缺点：

4、数据仓库

（1）定义：传统的数据库系统中缺乏决策分析所需的大量历史数据信息，因为传统的数据库一般只保留当前或近期的数据信息。为了满足中高层管理人员预测、决策分析的需要，在传统数据库的基础上产生了能够满足预测、决策分析需要的数据环境。

（2）相关概念：

• 清洗/转换/加载（ETL）：用户从数据源抽取出所需的数据，经过数据清洗、转换，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
• 元数据：关于数据的数据，指在数据仓库建设过程中所产生的有关数据源定义、且标定义、转换规则等相关的关键数据。
• 粒度：数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高，粒度级就越小;相反，细化程度越低，粒度级就越大。
• 分割：结构相同的数据被分成多个数据物理单元。任何给定的数据单元属于且仅属于一个分割。
• 数据集市：小型的，面向部门或工作组级的数据仓库。
• 操作数据存储：能支持组织日常的全局应用的数据集合，是不同于DB的一种新的数据环境，是DW扩展后得到的一个混合形式。
• 数据模型：逻辑数据结构，包括由数据库管理系统为有效进行数据库处理提供的操作和约束;用于表示数据的系统。
• 人工关系：在决策支持系统坏境中用于表示参照完整性的一种设计技术。

（3）特点：数据仓库是⼀个面向主题的、集成的、非易失的且随时间变化的数据集合，用于⽀持管理决策。

（4）体系结构：

• 数据源。是数据仓库系统的基础，是整个系统的数据源泉。
• 数据的存储与管理。它是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。针对现有各业务系统的数据，进行抽取、清理并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为组织级数据仓库和部门级数据仓库(通常称为数据集市)。
• 联机分析处理(OLAP)服务器。OLAP对分析需要的数据进行有效集成，以便进行多⻆度、多层次的分析，并发现趋势。具体实现可以分为：基于关系数据库的ROLAP、基于多维数据组织的MOLAP、基于混合数据组织的HOLAP。
• 前端工具。前端工具主要包括各种查询工具、报表工具、分析工具、数据挖掘工具以及各种应用开发工具。其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。

2.1.4 信息安全

        常见的信息安全问题主要表现为：计算机病毒泛滥、恶意软件的⼊侵、⿊客攻击、利用计算机犯罪、网络有害信息泛滥、个人隐私泄露等。

1、信息安全基础

1）信息安全强调信息(数据)本⾝的安全属性，主要包括以下内容：

• 保密性(Confifidentiality)：信息不被未授权者知晓的属性。
• 完整性(Integrity)：信息是正确的、真实的、未被篡改的、完整无缺的属性。
• 可用性(Availability)：信息可以随时正常使用的属性。

2）针对信息系统，安全可以划分为四个层次：

• 设备安全：三个方面：设备的稳定性 (不出故障的概率) 、设备的可靠性(正常执行任务的概率)设备的可用性(随时可以正常使用的概率)
• 数据安全：秘密性、完整性和可用性。数据安全是传统的信息安全。
• 内容安全：政治上健康、符合国家法律法规、符合道德规范义还包括内容保密、知识产权保护、信息隐藏和隐私保护等。
• 行为安全：行为安全是一种动态安全 (程序执行不影响完整性等)包括:行为的秘密性;行为的完整性;行为的可控性。

3）信息系统安全主要包括：

• 计算机设备安全
• 网络安全
• 操作系统安全
• 数据库系统安全
• 应用系统安全

4）网络安全技术主要包括

• 防火墙
• 入侵检测与防护
• VPN
• 安全扫描
• 网络蜜罐技术
• 用户和实体行为分析技术

2、加密解密

（1）加密技术包括两个元素：算法和秘钥。

（2）加密技术分类：

1）对称加密（私人密钥加密）：以数据加密标准（DES）算法为典型代表，特点为加密密钥和解密密钥相同；

2）非对称加密（公开密钥加密）：以RSA算法为代表，特点为加密密钥和解密密钥不同，加密密钥可以公开而解密密钥需要保密。

3、安全行为分析技术

• 虽然⼤多数的攻击可能来自组织以外，但最严重的损害往往是由内部人员造成的，只有管理好内部威胁，才能保证信息和网络安全。
• 用户和实体行为分析 （User and Entity Behavior Analytics, UEBA） 提供了用户画象及基于各种分析方法的异常检测，结合基本分析方法(利用签名的规则、模式匹配，简单统计、闽值等)和高级分析方法(监督和无监督的机器学习等)，用打包分析来评古用户和其他实体(主机、应用程序、网络、数据库等)，发现与用户或实体标准画像或行为异常的活动所相关的潜在事件。
• 从架构上来看，UEBA系统通常包括数据获取层、算法分析层和场景应⽤层。
• UEBA以用户和实体为对象，利用大数据，结合规则以及机器学习模型，并通过定义此类基线，对用户和实体行为进行分析和异常检测，尽可能快速地感知内部用户和实体的可疑或非法行为。

4、网络安全态势感知

（1）定义：

• 网络安全态势感知（Network Security Situation Awareness） 是在大规模网络环境中，对能够引起网络态势发生变化的安全要素进行获取、理解显示，并据此预测未来的网络安全发展趋势。
• 安全态势感知不仅是一种安全技术，也是一种新兴的安全概念。它是一种基于环境的、动态的、整体的洞悉安全风险的能力。
• 安全态势感知的前提是安全大数据，其在安全大数据的基础上进行数据整合、特征提取等，然后应用 一系列态势评估算法生成网络的整体态势状况，应用态势预测算法预测态势的发展状况，并使用数据可视化技术，将态势状况和预测情况展示给安全人员，方便安全人员直观便捷地了解网络当前状态及预期的风险。

（2）关键技术主要包括：

• 海量多元异构数据的汇聚融合技术
• 面向多类型的网络安全威胁评估技术
• 网络安全态势评估与决策支撑技术
• 网络安全态势可视化等（如预判⽹络攻击）

2.1.5 信息技术的发展

• 在计算机软硬件方面，计算机硬件技术将向超高速、超小型、平行处理、智能化的方向发展。
• 在网络技术方面，计算机网络与通信技术之间的联系日益密切，甚至是已经融为⼀体。
• 面向物联网、低时延场景的窄带物联网 (Narrow Band Internet of Things, NB-IoT)和增强型机器类型通信(enhanced Machine-Type Communication, eMTC)、工业物联网 (Industrial Internet of Things, IIoT )和低延时高可靠通信 (Ultra Reliable Low Latency Communication, URLLC)等技术，将进⼀步得到充分发展。
• 在存储和数据库方面，数据量的不断爆炸式增⻓，数据存储结构也越来越灵活多样，推动数据库技术不断向着模型拓展、架构解耦的方向演进。
• 在信息安全方面，传统计算机安全理念将过渡到以可信计算理念为核心的计算机安全。

2.2 新⼀代信息技术及应用

2.2.1 物联网

• 物联网(The Internet of Things)是指通过信息传感设备，按约定的协议将任何物品与互联网相连接，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的网络。
• 物联网主要解决物品与物品(Thing to Thing, T2T)、人与物品 (Human to Thing, H2T)、⼈与⼈(Human to Human, H2H)之间的互连。

1、技术基础

物联网架构可分为三层：感知层、网络层和应用层：

• 感知层：感知层由各种传感器构成，包括温度传感器、二维码标签、RFID标签和读写器、摄像头、GPS等感知终端。感知层是物联网识知物体、采集信息的来源。
• 网络层：网络层由各种网络，包括互联网、广电网、网络管理系统和云计算平台等组成，是整个物联网的中枢，负责传递和处理感知层获取的信息。
• 应用层：应用层是物联网和用户的接口，它与行业需求结合以实现物联网的智能应用。

2、关键技术

物联网关键技术主要涉及传感器技术、传感网和应用系统框架等。

（1）传感器技术

• 定义：传感器是一种检测装置，它能“感受”到被测量的信息，并能将检测到的信息按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储.显示、记录和控制等要求。
• 它是实现自动检测和自动控制的首要环节，也是物联网获取物理世界信息的基本手段。
• 射频识别技术（RFID）：是物联网中使用的一种传感器技术，在物联网发展中备受关注。RIFD可通过无线电信号识别特定目标并读写相关数据，而无须识别系统与特定目标之间建立机械或光学接触。
• RFID技术让物品能够“开口说话”，这赋予了物联网⼀个特性：可跟踪性，即可以随时掌握物品的准确位置及其周边环境。

（2）传感网

• 微机电系统（MEMS）是由微传感器、微执行器、信号处理和控制电路、通信接口和电源等部件组成的一体化的微型器件系统。
• MEMS其目标是把信息的获取、处理和执行集成在一起，组成具有多功能的微型系统，集成于大尺寸系统中，从而大幅地提高系统的自动化、智能化和可靠性水平。如：食品蔬菜的标签会向顾客的手机介绍“自己”是否真正“绿色安全”。

（3）应用系统框架

• 物联网应用系统框架是一种以机器终端智能交互为核心的、网络化的应用与服务。
• 它将使对象实现智能化的控制，涉及5个重要的技术部分:机器、传感器硬件、通信网络、中间件和应用。
• 该框架基于云计算平台和智能网络，可以依据传感器网络获取的数据进行决策，改变对象的行为控制和反馈。如：智能化的住宅在主人上班时，传感器自动关闭水电气和门窗，定时向主⼈的⼿机发送消息，汇报安全情况。

3、应用和发展

        物联网的应用领域涉及人们工作与生活的方方面面。在工业、农业、环境、交通、物流、安保等基础设施领域的应用，有效地推动了这些方面的智能化发展。

2.2.2 云计算

1、技术基础

（1）定义：云计算是一种基于互联网的计算方式，通过这种方式将网络上配置为共享的软件资源、计算资源、存储资源和信息资源，按需求提供给网上的终端设备和终端用户。

（2）云计算实现了“快速、按需、弹性”的服务：用户可以随时通过宽带网络接入“云”并获得服务，按照实际需求获取或释放资源，根据需求对资源进行动态扩展。

（3）按照云计算服务提供的资源层次，可以分为三种服务类型：

• 基础设施即服务(Infrastructure as a Service,IaaS)：向用户提供计算机能力、存储空间等基础设施方面的服务。这种服务模式需要较大的基础设施投入和长期运营管理经验，其单纯出租资源的盈利能力有限。
• 平台即服务(Platform as a Service, PaaS )：向用户提供虚拟的操作系统、数据库管理系统、web应用等平台化的服务。PaaS服务的重点不在于直接的经济效益，而更注重构建和形成紧密的产业生态。
• 软件即服务(Software as a Service,SaaS)：向用户提供应用软件(如CRM、办公软件等)、组件、工作流等虚拟化软件的服务。SaaS⼀般采用Web技术和SOA架构，通过Internet向用户提供多租户、可定制的应用能力，大大缩短了软件产业的渠道链条，减少了软件升级、定制和运行维护的复杂程度，并使软件提供商从软件产品的生产者转变为应用服务的运营者。

2、关键技术

云计算的关键技术主要涉及虚拟化技术、云存储技术、多租户和访问控制管理、云安全技术等。

（1）虚拟化技术

1）定义：虚拟化是一个广义术语，在计算机领域通常是指计算元件在虚拟的基础上而不是真实的基础上运行。

2）区别：

• 多任务：多任务是指在一个操作系统中多个程序同时并行运行，而在虚拟化技术中，则可以同时运行多个操作系统，而且每一个操作系统中都有多个程序运行，每一个操作系统都运行在一个虚拟的 CPU 或者虚拟主机上。
• 超线程技术：超线程技术只是单CPU 拟双 CPU 来平衡程序运行性能，这两个模拟出来的 CPU是不能分离的，只能协同工作。

3）容器（Container）技术：

• 定义：是一种全新意义上的虚拟化技术（开销更小），属于操作系统虚拟化的范畴，也就是由操作系统提供虚拟化的支持。
• 虚拟化技术可以扩大硬件的容量，简化软件的重新配置过程。
• 目前最受欢迎的容器环境是Docker。

（2）云存储技术

• 分布式文件系统作为云存储技术中的重要组成部分，在维持兼容性的基础上，对系统复制和容错功能进行提升。同时，通过云集群管理实现云存储的可拓展性，借助模块之间的合理搭配，完成解决方案拟定解决的网络存储问题、联合存储问题、多节点存储问题、备份处理、负载均衡等。

（3）多租户和访问控制管理

• 访问控制管理是云计算应用的核心问题之⼀。云计算访问控制的研究主要集中在云计算访问控制模型、基于ABE密码体制（基于属性的加密，可根据用户属性加解密）的云计算访问控制、云中多租户及虚拟化访问控制研究。
• 云中多租户及虚拟化访问控制是云计算的典型特征。

（4）云安全技术

1）云安全研究主要包含两个方面的内容：

• ⼀是云计算技术本⾝的安全保护工作，涉及相应的数据完整性及可用性、隐私保护性以及服务可用性等方面的内容。
• ⼆是借助于云服务的方式来保障客户端用户的安全防护需求，通过云计算技术来实现互联网安全，涉及基于云计算的病毒防治、木马检测技术等。

2）在云安全技术的研究方面，主要包含：

• 云计算安全性（保障互联网用户数据的安全性，如何有效防护恶意网络攻击）
• 保障云基础设施的安全性（实现云服务的优化，保障满足预期的安全防护的要求）
• 云安全技术服务（互联网终端用户的安全服务要求）

3）云安全技术是新⼀代互联网中安全技术构架的核心内容，体现了当前快速发展的云计算的先进性，是未来的信息安全技术发展的必然趋势。

3、应用和发展

• “上云”将成为各类组织加快数字化转型、⿎励技术创新和促进业务增长的第⼀选择，甚至是必备的前提条件。
• 从AI与机器学习、IoT与边缘计算、区块链到⼯程实践领域的DevOps、云原⽣和ServiceMesh，都有云计算厂商积极参与、投⼊和推⼴的⾝影。云计算实际上已成为AI相关技术的基础。

2.2.3 大数据

• 定义：大数据(BigData)指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

1、技术基础

（1）大数据处理过程：

• 数据准备->数据存储与管理->数据分析和计算->数据治理->知识展现

（2）大数据主要特征：

1）数据海量：大数据的数据体量巨大，从TB级别跃升到PB级别 (1PB=1024TB)、EB级别 (1EB=1024PB)，甚至达到ZB级别 ( 1ZB=1024EB)。

2）数据类型多样：

• 大数据的数据类型繁多，⼀般分为结构化数据和非结构化数据。
• 相对于以往便于存储的以⽂本为主的结构化数据，非结构化数据越来越多，包括网终日志、⾳频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能⼒提出了更高要求。

3）数据价值密度低：数据价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”，成为目前大数据背景下亚待解决的难题。

4）数据处理速度快：为了从海量的数据中快速挖掘数据价值，⼀般要求要对不同类型的数据进行快速的处理，这是大数据区分于传统数据挖掘的最显著特征。

2、关键技术

• 大数据技术架构主要包含大数据获取技术、分布式数据处理技术和大数据管理技术，以及大数据应用和服务技术。

（1）大数据获取技术

1）数据采集：

• 数据采集技术主要是通过分布式爬取、分布式高速高可靠性数据采集、高速全网数据映像技术，从网站上获取数据信息。
• 除了网络中包含的内容之外，对于网络流量的采集可以使用DPI或DFI等带宽管理技术进行处理。

2）整合：

• 数据整合技术是在数据采集和实体识别的基础上，实现数据到信息的高质量整合。
• 数据整合技术包括多源多模态信息集成模型、异构数据智能转换模型、异构数据集成的智能模式抽取和模式匹配算法、自动容错映射和转换模型及算法、整合信息的正确性验证方法、整合信息的可用性评估方法等。

3）清洗：

• 数据清洗技术一般根据正确性条件和数据约束规则，清除不合理和错误的数据，对重要的信息进行修复，保证数据的完整性。
• 包括数据正确性语义模型、关联模型和数据约束规则、数据错误模型和错误识别学习框架、针对不同错误类型的自动检测和修复算法、错误检测与修复结果的评估模型和评估方法等。

2）分布式数据处理技术

⽬前主流的分布式计算系统：

• Hadoop：Hadoop常用于离线的复杂的大数据处理
• Spark：Spark常用于离线的快速的大数据处理

• Storm：Storm常用于在线的实时的大数据处理

3）大数据管理技术

• 大数据存储：采用MPP架构的新型数据库集群，通过列存储、粗粒度索引等多项大数据处理技术和高效的分布式计算模式，实现大数据存储；国绕Hadoop衍生出相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，通过扩展和封装Hadoop来实现对大数据存储、分析的支撑；基于集成的服务器、存储设备、操作系统、数据库管理系统，实现具有良好的稳定性、扩展性的大数据一体机。
• 大数据协同：是大数据研究的另一个重要方向。通过分布式工作流引擎实现工作流调度、负载均衡，整合多个数据中心的存储和计算资源，从而为构建大数据服务平台提供支撑。
• 安全隐私：主要集中于新型数据发布技术，尝试在尽可能少损失数据信息的同时最大化地隐藏用户隐私。在数据信息量和隐私之间是有矛盾的，目前没有非常好的解决办法。

4 ） 大数据应用和服务技术

• 分析应用技术：大数据分析应用主要是面向业务的分析应用。在分布式海量数据分析和挖掘的基础上，大数据分析应用技术以业务需求为驱动，面向不同类型的业务需求开展专题数据分析，为用户提供高可用、高易用的数据分析服务。
• 可视化技术：可视化通过交互式视觉表现的方式来帮助人们探索和理解复杂的数据。大数据的可视化技术主要集中在文本可视化技术、网络(图)可视化技术、时空数据可视化技术、多维数据可视化和交互可视化等。在技术方面，主要关注原位交互分析(ln situInteractive Analysis)数据表示、不确定性量化和面向领域的可视化工具库。

3、应用和发展

• 大数据像水、矿石、石油⼀样，正在成为新的资源和社会生产要素。

2.2.4 区块链

• 区块链技术具有多中心化存储、隐私保护、防篡改等特点，提供了开放、分散和容错的事务机制，成为新⼀代匿名在线支付、汇款和数字资产交易的核心，被广泛应用于各大交易平台。

1、技术基础

1）定义：区块链概念可以理解为以非对称加密算法为基础，以改进的默克尔树(MerkleTree)为数据结构，使用共识机制、点对点网络、智能合约等技术结合而成的一种分布式存储数据库技术。

2）区块链分为：

• 公有链（Public Blockchain）
• 联盟链（Consortium Blockchain）
• 私有链（Private Blockchain）
• 混合链（Hybrid Blcokchain）

3）区块链的典型特征：

• 多中心化：链上数据的验证、核算、存储、维护和传输等过程均依赖分布式系统结构，运用纯数学方法代替中心化组织机构在多个分布式节点之间构建信任关系，从而建立可信的分布式系统。
• 多方维护：激励机制可确保分布式系统中的所有节点均可参与数据区块的验证过程，并通过共识机制选择特定节点将新产生的区块加入到区块链中。
• 时序数据：区块链运用带有时间戳信息的链式结构来存储数据信息，为数据信息添加时间维度的黑性，从而可实现数据信息的可追溯性。
• 智能合约：区块链技术能够为用户提供灵活可变的脚本代码，以支持其创建新型的智能合约。
• 不可篡改：在区块链系统中，因为相邻区块间后序区块可对前序区块进行验证，若算改某一区块的数据信息，则需递归修改该区块及其所有后序区块的数据信息，然而每一次哈希的重新计算代价是巨大的，且须在有限时间内完成，因此可保障链上数据的不可算改性。
• 开放共识：在区块链网络中，每台物理设备均可作为该网络中的一个节点，任意节点可自由加入且拥有一份完整的数据库拷贝。
• 安全可信：数据安全可通过基于非对称加密技术对链上数据进行加密来实现，分布式系统中各节点通过区块链共识算法所形成的算力来抵御外部攻击、保证链上数据不被算改和伪造，从而具有较高的保密性、可信性和安全性。

2、关键技术

1）分布式账本

• 分布式账本是区块链技术的核心之一。分布式账本的核心思想是:交易记账由分布在不同地方的多个节点共同完成，而且每一个节点保存一个唯一、真实账本的副本，它们可以参与监督交易合法性，同时也可以共同为其作证。

2）加密算法

区块链系统中的加密算法⼀般分为散列（哈希）算法和非对称加密算法。

a）散列算法：

• 散列算法也叫数据摘要或者哈希算法其原理是将一段信息转换成一个固定长度并具备以下特点的字符串。
• 如果某两段信息是相同的，那么字符也是相同的；即使两段信息十分相似，但只要是不同的，那么字符串将会十分杂乱、随机并且两个字符串之间完全没有关联。
• 本质上，散列算法的目的不是为了“加密”而是为了抽取“数据特征”，也可以把给定数据的散列值理解为该数据的“指纹信息”。
• 典型的散列算法有MD5 SHA-1/SHA-2和SM3，目前区块链主要使用SHA-2中的SHA256算法。

b）非对称加密算法：

• 非对称加密算法由对应的一对唯一性密钥(即公开密钥和私有密钥)组成的加密方法。
• 任何获悉用户公钥的人都可用用户的公钥对信息进行加密与用户实现安全信息交互。由于公钥与私钥之间存在的依存关系，只有用户本身才能解密该信息，任何未受授权用户甚至信息的发送者都无法将此信息解密。
• 常用的非对称加密算法包括RSAlgamal D-HECC(圆曲线加密算法)等。

3）共识机制

• 区块链的共识机制的思想是：在没有中心点总体协调的情况下，当某个记账节点提议区块数据增加或减少，并把该提议广播给所有的参与节点，所有节点要根据一定的规则和机制，对这一提议是否能够达成一致进行计算和处理。
• 常用的共识机制主要有PoW、PoS DPos Paxos、PBFT等。

3、应用和发展

• 区块链将成为互联⽹的基础协议之⼀
• 区块链架构的不同分层将承载不同的功能
• 区块链的应用和发展呈螺旋式上升趋势

2.2.5 人工智能

        人工智能是指研究和开发用于模拟、延伸和扩展人类智能的理论、⽅法、技术及应用系统的一门技术科学。

1、技术基础：

• 其在技术研究发面主要聚焦在热点技术、共性技术和新兴技术三个方面。
• 以机器学习为代表的基础算法的优化改进和实践，以及迁移学习、强化学习、多核学习和多视图学习等新型学习⽅法是研究探索的热点
• 自然语⾔处理相关的特征提取、语义分类、词嵌入等基础技术和模型研究，以及智能⾃动问答、机器翻译等应用研究也取得诸多的成果
• 以知识图谱、专家系统为逻辑的系统化分析也在不断地取得突破，大大拓展了人工智能的应用场景（如医疗诊断等）。

2、关键技术：

（1）机器学习：

1）定义：

• 机器学习是一种自动将模型与数据匹配，并通过训练模型对数据进行“学习”的技术。
• 机器学习的研究主要聚焦在机器学习算法及应用、强化学习算法、近似及优化算法和规划问题等方面，其中常见的学习算法主要包含回归、聚类、分类、近似、估计和优化等基础算法的改进研究，迁移学习、多核学习和多视图学习等强化学习方法是当前的研究热点。

2）形式/方式：

• 神经网络
• 深度学习
• 强化学习

（2）自然语⾔处理

（1）定义：自然语⾔处理（Natural Language Processing, NLP）是计算机科学领域与人工智能领域中的⼀个重要方向。它研究能实现人与计算机之间用自然语⾔进行有效通信的各种理论和方法。

（2）主要应用：机器翻译、舆情监测、⾃动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文OCR等方面。

（3）专家系统

• 专家系统是一个智能计算机程序系统，通常由人机交互界面、知识库、推理机、解释器综合数据库、知识获取等6个部分构成，其内部含有大量的某个领域专家水平的知识与经验它能够应用人工智能技术和计算机技术，根据系统中的知识与经验，进行推理和判断，模拟人类专家的决策过程，以便解决那些需要人类专家处理的复杂问题。
• 专家系统是一种模拟人类专家解决领域问题的计算机程序系统，以便解决那些需要人类专家处理的复杂问题。

3、应用和发展

实现从专用人工智能向通用人工智能的跨越式发展，既是下⼀代人工智能发展的必然趋势，也是研究与用用领域的重⼤挑战，是未来应用和发展的趋势。

• 从人工智能向人机混合智能发展
• 从“人工+智能”向自主智能系统发展
• 人工智能将加速与其他学科领域交叉渗透
• 人工智能产业将蓬勃发展：“人工智能+X”的创新模式将随着技术和产业的发展日趋成熟，对⽣产力和产业结构产生革命性影响，并推动人类进入普惠型智能社会
• 人工智能的社会学将提上议程

2.2.6 虚拟现实

1、技术基础

（1）定义：

• 虚拟现实(Virtual Reality, VR) 是一种可以创立和体验虚拟世界的计算机系统(其中虚拟世界是全体虚拟环境的总称)。

（2）主要特征：

• 沉浸性
• 交互性
• 多感知性
• 构想性(也称想象性)
• 自主性。

（3）虚拟现实技术已经从桌面虚拟现实系统、沉浸式虚拟现实系统、分布式虚拟现实系统(共享空间协同工作）等，向着增强式虚拟现实系统(AR) 和元宇宙的方向发展。

2、关键技术

虚拟现实的关键技术主要涉及人机交互技术、传感器技术、动态环境建模技术和系统集成技术等。

（1）人机交互技术：虚拟现实中的人机交互技术与传统的只有键盘和鼠标的交互模式不同，是一种新型的利用VR 眼镜、控制手柄等传感器设备，能让用户真实感受到周围事物存在的一种三维交互技术，将三维交互技术与语音识别、语音输入技术及其他用于监测用户行为动作的设备相结合，形成了目前主流的人机交互手段。

（2）传感器技术：VR 技术的进步受制于传感器技术的发展，现有的 VR 设备存在的缺点与传感器的灵敏程度有很大的关系。

（3）动态环境建模技术：

• 虚拟环境的设计是 VR 技术的重要内容，该技术是利用三维数据建立虚拟环境模型。
• 目前常用的虚拟环境建模工具为计算机辅助设计(Computer Aided Design，CAD)，操作者可以通过CAD 技术获取所需数据，并通过得到的数据建立满足实际需要的虚拟环境模型。

（4）系统集成技术：VR 系统中的集成技术包括信息同步、数据转换、模型标定、识别和合成等技术，由于 VR系统中储存着许多的语音输入信息、感知信息以及数据模型，因此 VR 系统中的集成技术显得越发重要。

3、应用和发展

• 硬件性能优化迭代加快。轻薄化、超清化加速了虚拟现实终端市场的迅速扩大。
• 网络技术的发展有效助力其应用化的程度。
• 虚拟现实产业要素加速融通。“虚拟现实+商贸会展”成为后疫情时代的未来新常态，“虚拟现实+⼯业⽣产”是组织数字化转型的新动能，”虚拟现实+智慧⽣活”提升未来智能化的⽣活体验，“虚拟现实+⽂娱休闲”成为新型信息消费模式的新载体等。
• 元宇宙等新兴概念为虚拟现实技术带来了 “沉浸和叠加”、“激进和渐进”、“开放和封闭”等新的商业理念，⼤⼤提升了其应用价值和社会价值。