信息系统项目管理师教材重点汇总--信息技术发展

如果觉得以下内容对你有用，要记得关注➕点赞➕收藏哦！

计算机硬件(Computer Hardware）是指计算机系统中由电⼦、机械和光电元件等组成的各种物理装置的总称。

计算机软件(Computer Software）是指计算机系统中的程序及其⽂档，程序是计算任务的处理对象和处理规则的描述；⽂档是为了便于了解程序所需的阐明性资料。程序必须安裝⼊机器内部才能⼯作，⽂档⼀般是给⼈看的，不⼀定安裝⼊机器

硬件和软件互相依存。硬件是软件赖以⼯作的物质基础，软件的正常⼯作是硬件发挥作⽤的重要途径。计算机系统必须要配备完善的软件系统才能正常⼯作，从⽽充分发挥其硬件的各种功能。

从⽹络的作⽤范围可将⽹络类别划分为个⼈局域⽹(Personal Area Network，PAN)、局域⽹(Local Area Network, LAN)、城域⽹(Metropolitan Area Network,MAN)、⼴域⽹(Wide Area Network,WAN)、公⽤⽹（Public Network)、专⽤⽹(Private Network)。

1）OSI

OSI采⽤了分层的结构化技术，从下到上共分物理层、数据链路层、⽹络层、传输层、会话层、表⽰层和应⽤层。

⼴域⽹协议包括：PPP点对点协议、ISDN综合业务数字⽹、XDSL(DSL数字⽤户线路的统称：HDSL、SDSL、MVL、ADSL)、DDN数字专线、x.25、FR帧中继、ATM异步传输模式。

2）IEEE 802 协议族

IEEE 802 定义了⽹卡如何访问传输介质（如光缆、双绞线、⽆线等)，以及如何在传输介质上传输数据的⽅法，还定义了传输信息的⽹络设备之间连接的建⽴、维护和拆除的途径。

IEEE 802 规范包括：802.1(802协议概论)、802.2（逻辑链路控制层 LLC 协议）、802.3（以太⽹的CSMA/CD载波监听多路访问/冲突检测协议）、802.4（令牌总线Token Bus 协议）、802.5（令牌环 Token Ring 协议）、802.6（城域⽹ MAN 协议）、802.7（FDDI宽带技术协议）、802.8（光纤技术协议）、802.9（局域⽹上的语⾳/数据集成规范）、802.10（局域⽹安全互操作标准）、802.11（⽆线局域⽹ WLAN标准协议）。

3)TCP/IP

OSI的七层简化为四层：①应⽤层、表⽰层、会话层三个层次提供的服务相差不是很⼤，

在应⽤层中，FTP(File Transfer Protocol，⽂件传输协议）、TFTP(Trivial File Transfer Protocol，简单⽂件传输协议）、HTTP(Hypertext Transfer Protocol，超⽂本传输协议）、SMTP(Simple Mail Transfer Protocol，简单邮件传输协议）、DHCP(Dynamic Host Configuration Protocol，动态主机配置协议）、Telnet(远程登录协议）、DNS(Domain Name System，域名系统）、SNMP(Simple Network Management Protocol，简单⽹络管理协议）。

传输层有两个传输协议，TCP和UDP(User Datagram Protocol，⽤户数据报协议），负责提供流量控制、错误校验和排序服务。

⽹络层中的协议有： IP、ICMP(Interet Control Message Protocol，⽹际控制报⽂协议）、IGMP(Internet Group Management Protocol，⽹际组管理协议）、ARP(Address Resolution Protocol，地址解析协议）和RARP (Reverse Address Resolution Protocol，反向地址解析协议）处理信息的路由和主机地址解析，

⽹络接口层兼并了物理层和数据链路层，既是传输数据的物理媒介，也可以为⽹络层提供⼀条准确⽆误的线路。

软件定义⽹络(Software Defined Network，SDN）是⼀种新型⽹络创新架构，是⽹络虚拟化的⼀种实现⽅式，它可通过软件编程的形式定义和控制⽹络，其通过将⽹络设备的控制⾯与数据⾯分离开来，从⽽实现了⽹络流量的灵活控制，使⽹络变得更加智能，为核⼼⽹络及应⽤的创新提供了良好的平台。

利⽤分层的思想，SDN将数据与控制相分离。

在控制层，具有逻辑中⼼化和可编程的控制器，可掌握全局⽹络信息，⽅便运营商和科研⼈员管理配置⽹络和部署新协议。

在数据层，亚交换机（与传统的⼆层交换机不同，专指⽤于转发数据的设备)，仅提供简单的数据转发功能，可以快速处理匹配的数据包，适应流量⽇益增长的需求。两层之间采⽤开放的统⼀接口（如OpenFlow等）进⾏交互。控制器通过标准接口向交换机下发统⼀标准规则，交换机仅需按照这些规则执⾏相应的动作即可。SDN打破了传统⽹络设备的封闭性。此外，南北向和东西向的开放接口及可编程性，也使得⽹络管理变得更加简单、动态和灵活。

SDN 的整体架构由下到上（由南到北）分为数据平⾯、控制平⾯和应⽤平⾯

数据平⾯由交换机等⽹络通⽤硬件组成，各个⽹络设备之间通过不同规则形成的SDN数据通路连接：控制平⾯包含了逻辑上为中⼼的SDN控制器，它掌握着全局⽹络信息，负责各种转发规则的控制；应⽤平⾯包含着各种基于SDN的⽹络应⽤，⽤户⽆须关⼼底层细节就可以编程、部署新应⽤。

控制平⾯与数据平⾯之间通过SDN控制数据平⾯接⼝(Control-Data-Plane Interface, CDPI)进⾏通信，具有统⼀的通信标准，主要负责将控制器中的转发规则下发⾄转发设备，最主要应⽤的是OpenFlow协议。控制平⾯与应⽤平⾯之间通过SDN北向接⼝(NorthBound Interface,NBI)进⾏通信，而NBI并⾮统⼀标准，它允许⽤户根据⾃身需求定制开发各种⽹络管理应⽤。

SDN中的接口具有开放性，以控制器为逻辑中⼼，南向接口负责与数据平⾯进⾏通信，北向接口负责与应⽤平⾯进⾏通信，东西向接口负责多控制器之间的通信。最主流的南向接口CDPI采⽤的是OpenFlow协议。OpenFlow最基本的特点是基于流（Flow）的概念来匹配转发规则，每⼀个交换机都维护⼀个流表（Flow Table)，依据流表中的转发规则进⾏转发，⽽流表的建⽴、维护和下发都是由控制器完成的。针对北向接口，应⽤程序通过北向接⼜编程来调⽤所需的各种⽹络资源，实现对⽹络的快速配置和部署。东西向接口使控制器具有可扩展性，为负载均衡和性能提升提供了技术保障。

第五代移动通信技术(5th Generation Mobile Communication Technology，5G）具有⾼速率、低时延和⼤连接。

5G的⼋⼤指标，

在正交频分多址（OFDMA）和多⼊多出(MIMO) 上，5G为⽀持三⼤应⽤场景，采⽤了灵活的全新系统设计。

在频段⽅⾯，与4G⽀持中低频不同，考虑到中低频资源有限，5G同时⽀持中低频和⾼频频段，其中中低频满⾜覆盖和容量需求，⾼频满⾜在热点区域提升容量的需求，5G针对中低频和⾼频设计了统⼀的技术⽅案，并⽀持百MHz的基础带宽。

为了⽀持低时延、⾼可靠，5G采⽤短帧、快速反馈、多层/多站数据重传等技术。

国际电信联盟（ITU）定义了5G的三⼤类应⽤场景，即增强移动宽带（eMBB)、超⾼可靠低时延通信（URLLC）和海量机器类通信（mMTC)。

增强移动宽带主要⾯向移动互联⽹流量爆炸式增长，为移动互联⽹⽤户提供更加极致的应⽤体验；

超⾼可靠低时延通信主要⾯向⼯业控制、远程医疗、⾃动驾驶等对时延和可靠性具有极⾼要求的垂直⾏业应⽤需求；

海量机器类通信主要⾯向智慧城市、智能家居、环境监测等以传感和数据采集为⽬标的应⽤需求。

存储分类根据服务器类型分为：封闭系统的存储和开放系统的存储。

封闭系统主要指⼤型机等服务器。

开放系统指基于包括麒麟、欧拉、UNIX、Linux等操作系统的服务器。存储分为：内置存储和外挂存储。

外挂存储根据连接的⽅式分为直连式存储(Direct-Attached Storage,DAS）和⽹络化存储(Fabric-Attached Storage,FAS)。⽹络化存储根据传输协议又分为⽹络接⼊存储（Network-Atached Storage,NAS)和存储区域⽹络(Storage Area Network, SAN)。

存储虚拟化(Storage Virtualization）是“云存储”的核⼼技术之⼀，它把来⾃⼀个或多个⽹络的存储资源整合起来，向⽤户提供⼀个抽象的逻辑视图，⽤户可以通过这个视图中的统⼀逻辑接⼜来访问被整合的存储资源。⽤户在访问数据时并不知道真实的物理位置。它带给⼈们直接的好处是提⾼了存储利⽤率，降低了存储成本，简化了⼤型、复杂、异构的存储环境的管理⼯作。

存储虚拟化使存储设备能够转换为逻辑数据存储。数据存储是类似于⽂件系统的逻辑容器。它隐藏了每个存储设备的特性，形成⼀个统⼀的模型，为虚拟机提供磁盘。存储虚拟化技术帮助系统管理虚拟基础架构存储资源，提⾼资源利⽤率和灵活性，提⾼应⽤正常运⾏时间。

绿⾊存储(Green Storage）技术是指从节能环保的⾓度出发，⽤来设计⽣产能效更佳的存储产品，降低数据存储设备的功耗、提⾼存储设备每⽡性能的技术。

绿⾊存储技术的核⼼是设计运⾏温度更低的处理器和更有效率的系统，⽣产更低能耗的存储系统或组件，其最终⽬的是提⾼所有⽹络存储设备的能源效率。以绿⾊理念为指导的存储系统最终是存储容量、性能、能耗三者的平衡。

数据结构模型是数据库系统的核⼼。模型的结构部分规定了数据如何被描述（例如树、表等）。模型的操纵部分规定了数据的添加、删除、显示、维护、打印、查找、选择、排序和更新。

常见的数据结构模型有三种：层次模型、⽹状模型和关系模型，层次模型和⽹状模型又统称为格式化数据模型。

1）层次模型

它⽤“树”结构表⽰实体集之间的关联，其中实体集（⽤矩形框表⽰）为结点，⽽树中各结点之间的连线表⽰它们之间的关联。在层次模型中，每个结点表⽰⼀个记录类型，记录类型之间的联系⽤结点之间的连线（有向边）表⽰，这种联系是⽗⼦之间的⼀对多的联系。

2）⽹状模型

⽹状数据库系统采⽤⽹状模型作为数据的组织⽅式。⽹状模型⽤⽹状结构表⽰实体类型及其实体之间的联系。⽹状模型是⼀种可以灵活地描述事物及其之间关系的数据库模型。

⽹状模型中以记录为数据的存储单位。记录包含若⼲数据项。⽹状数据库是导航式（Navigation）数据库，⽤户在操作数据库时不但说明要做什么，还要说明怎么做。例如在查找语句中不但要说明查找的对象，⽽且要规定存取路径。

3）关系模型

关系模型是在关系结构的数据库中⽤⼆维表格的形式表⽰实体以及实体之间的联系的模型。关系模型是以集合论中的关系概念为基础发展起来的。关系模型中⽆论是实体还是实体间的联系均由单⼀的结构类型关系来表⽰。

数据库根据存储⽅式可以分为关系型数据库（SQL）和⾮关系型数据库(Not Only sQL, NoSOL)。

1）关系型数据库

关系数据库系统采⽤关系模型作为数据的组织⽅式。关系数据库是在⼀个给定的应⽤领域中，所有实体及实体之间联系的集合。

ACID：即原⼦性（Atomicity）、⼀致性(Consistency）、隔离性(Isolation)、持久性（Durability)，保证在事务过程当中数据的正确性。

2）⾮关系型数据库

分布式的、⾮关系型的、不保证遵循ACID原则的数据存储系统。NOSQL数据存储不需要固定的表结构，通常也不存在连接操作。

常见的⾮关系数据库分为：

键值数据库、列存储(Column-oriented）数据库、⾯向⽂档(Document-Oriented）数据库、图形数据库

为了满⾜中⾼层管理⼈员预测、决策分析的需要，在传统数据库的基础上产⽣了能够满⾜预测、决策分析需要的数据环境——数据仓库。

清洗/转换/加载(Extract/Transformation/Load,ETL)：⽤户从数据源抽取出所需的数据，经过数据清洗、转换，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

数据仓库是⼀个⾯向主题的、集成的、⾮易失的且随时间变化的数据集合，⽤于⽀持管理决策。

(1）数据源。它是数据仓库系统的基础，包括组织内部信息和外部信息。

（2）数据的存储与管理。它是整个数据仓库系统的核⼼。按照主题进⾏组织。

（3）联机分析处理(On-Line Analytic Processing， OLAP)服务器。

基于关系数据库的OLAP(Relational OLAP，ROLAP)、基于多维数据组织的OLAP(Multidimensional OLAP,MOLAP)和基于混合数据组织的OLAP(Hybrid OLAP,HOLAP)。ROLAP RDBMS之中；MOLAP 多维数据库中；HOLAP基本数据存放于关系数据库管理系统； 聚合数据存放于多维数据库中。

（4）前端⼯具。包括各种查询⼯具、报表⼯具、分析⼯具、数据挖掘⼯具以及各种基于数据仓库或数据集市的应⽤开发⼯具。

数据分析⼯具主要针对OLAP服务器，报表⼯具、数据挖掘⼯具主要针对数据仓库。

信息安全

保密性（Confidentiality）：信息不被未授权者知晓的属性。

完整性（Integrity）：信息是正确的、真实的、未被篡改的、完整⽆缺的属性。

可⽤性（Avaiabiity）：.信息可以随时正常使⽤的属性。

安全可以划分为四个层次：设备安全、数据安全、内容安全、⾏为安全。

信息系统⼀般由计算机系统、⽹络系统、操作系统、数据库系统和应⽤系统组成。

信息系统安全主要包括计算机设备安全、⽹络安全、操作系统安全、数据库系统安全和应⽤系统安全等。

⽹络安全技术主要包括：防⽕墙、⼊侵检测与防护、VPN、安全扫描、⽹络蜜罐技术、⽤户和实体⾏为分析技术等。

加密解密

发信者将明⽂数据加密成密⽂，然后将密⽂数据送⼊⽹络传输或存⼊计算机⽂件，⽽且只给合法收信者分配密钥。合法收信者接收到密⽂后，实⾏与加密变换相逆的变换，去掉密⽂的伪裝并恢复出明⽂，这⼀过程称为解密(Deeryption）。解密在解密密钥的控制下进⾏。⽤于解密的⼀组数学变换称为解密算法。

加密技术包括两个元素：算法和密钥。密钥加密技术的密码体制分为对称密钥体制和⾮对称密钥体制两种。

对称加密（私⼈密钥加密）和⾮对称加密（公开密钥加密)。对称加密以数据加密标准(DES)、⾮对称加密通常以RSA算法为代表。对称加密的加密密钥和解密密钥相同，⽽⾮对称加密的加密密钥和解密密钥不同，加密密钥可以公开⽽解密密钥需要保密。

安全行为分析：

⽤户和实体⾏为分析 提供了⽤户画像及基于各种分析⽅法的异常检测，结合基本分析⽅法（利⽤签名的规则、模式匹配、简单统计、國值等）和⾼级分析⽅法（监督和⽆监督的机器学习等），⽤打包分析来评估⽤户和其他实体（主机、应⽤程序、⽹络、数据库等)，发现与⽤户或实体标准画像或⾏为异常的活动所相关的潜在事件。以⽤户和实体为对象，利⽤⼤数据，结合规则以及机器学习模型，并通过定义此类基线，对⽤户和实体⾏为进⾏分析和异常检测，尽可能快速地感知内部⽤户和实体的可疑或⾮法⾏为。

是⼀个完整的系统，涉及算法、⼯程等检测部分，以及⽤户与实体风险评分排序、调查等⽤户交换和反馈。系统通常包括数据获取层、算法分析层和场景应⽤层。

⽹络安全态势感知是在⼤规模⽹络环境中，对能够引起⽹络态势发⽣变化的安全要素进⾏获取、理解、显⽰，并据此预测未来的⽹络安全发展趋势。也是⼀种新兴的安全概念。基于环境的、动态的、整体的洞悉安全风险的能⼒。安全态势感知的前提是安全⼤数据，其在安全⼤数据的基础上进⾏数据整合、特征提取等，然后应⽤⼀系列态势评估算法⽣成⽹络的整体态势状况，应⽤态势预测算法预测态势的发展状况，并使⽤数据可视化技术，将态势状况和预测情况展⽰给安全⼈员，⽅便安全⼈员直观便捷地了解⽹络当前状态及预期的风险。

⽹络安全态势感知的关键技术主要包括：海量多元异构数据的汇聚融合技术、⾯向多类型的⽹络安全威胁评估技术、⽹络安全态势评估与决策⽀撑技术、⽹络安全态势可视化。

新一代信息技术与应用

物联⽹(The Internet of Things）是指通过信息传感设备，按约定的协议将任何物品与互联⽹相连接，进⾏信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的⽹络。

物联⽹架构可分为三层：感知层、⽹络层和应⽤层。感知层由各种传感器构成，包括温度传感器，⼆维码标签、RFID标签和读写器，摄像头，GPS等感知终端。感知层是物联⽹识别物体、采集信息的来源。⽹络层由各种⽹络，包括互联⽹、⼴电⽹、⽹络管理系统和云计算平台等组成，是整个物联⽹的中枢，负责传递和处理感知层获取的信息。应⽤层是物联⽹和⽤户的接口，它与⾏业需求结合以实现物联⽹的智能应⽤。

1）传感器技术

射频识别技术(RFID) 是物联⽹中使⽤的⼀种传感器技术，可通过⽆线电信号识别特定⽬标并读写相关数据，⽽⽆须识别系统与特定⽬标之间建⽴机械或光学接触。

2）传感⽹

微机电系统(MEMS)是由微传感器、微执⾏器、信号处理和控制电路、通信接口和电源等部件组成的⼀体化的微型器件系统。其⽬标是把信息的获取、处理和执⾏集成在⼀起，组成具有多功能的微型系统，集成于⼤尺⼨系统中，从⽽⼤幅地提⾼系统的⾃动化、智能化和可靠性⽔平。MEMS赋予了普通物体新的“⽣命”，它们有了属于⾃⼰的数据传输通路、存储功能、操作系统和专门的应⽤程序，从⽽形成⼀个庞⼤的传感⽹，使物联⽹能够通过物品来实现对⼈的监控与保护。

3）应⽤系统框架

以机器终端智能交互为核⼼的、⽹络化的应⽤与服务。

涉及5个重要的技术部分：机器、传感器硬件、通信⽹络、中间件和应⽤。

该框架基于云计算平台和智能⽹络，可以依据传感器⽹络获取的数据进⾏决策，改变对象的⾏为控制和反馈。

云计算已经不单单是⼀种分布式计算，⽽是分布式计算、效⽤计算、负载均衡、并⾏计算、⽹络存储、热备份冗余和虚拟化。

云计算是⼀种基于互联⽹的计算⽅式，通过这种⽅式将⽹络上配置为共享的软件资源、计算资源、存储资源和信息资源，按需求提供给⽹上的终端设备和终端⽤户。

云计算实现了“快速、按需、弹性”的服务，⽤户可以随时通过宽带⽹络接⼊“云”并获得服务，按照实际需求获取或释放资源，根据需求对资源进⾏动态扩展。

按照云计算服务提供的资源层次，可以分为基础设施即服务（Infrastructure as a Service,laas)、平台即服务（Platform as a Service, Paas)和软件即服务(Software as a Service,Saas)

Iaas向⽤户提供计算机能⼒、存储空间等基础设施⽅⾯的服务。这种服务模式需要较⼤的基础设施投⼊和⻓期运营管理经验，其单纯出租资源的盈利能⼒有限。

Paas向⽤户提供虚拟的操作系统、数据库管理系统、Web应⽤等平台化的服务。Paas的重点不在于直接的经济效益，⽽更注重构建和形成紧密的产业⽣态。

Saas向⽤户提供应⽤软件（如CRM、办公软件等）、组件、⼯作流等虚拟化软件的服务，

Saas⼀般采⽤Web技术和SOA架构，通过Intermet向⽤户提供多租户、可定制的应⽤能⼒，⼤⼤缩短了软件产业的渠道链条，减少了软件升级、定制和运⾏维护的复杂程度，并使软件提供商从软件产品的⽣产者转变为应⽤服务的运营者。

云计算的关键技术主要涉及虚拟化技术、云存储技术、多租户和访问控制管理、云安全技术。

1）虚拟化技术

虚拟化技术可以扩⼤硬件的容量，简化软件的重新配置过程。CPU的虚拟化技术可以单CPU模拟多CPU并⾏，允许⼀个平台同时运⾏多个操作系统，并且应⽤程序都可以在相互独⽴的空间内运⾏⽽互不影响，从⽽显著提⾼计算机的⼯作效率。

虚拟化技术与多任务以及超线程技术是完全不同的。

多任务是指在⼀个操作系统中多个程序同时并⾏运⾏

虚拟化技术中，则可以同时运⾏多个操作系统，⽽且每⼀个操作系统中都有多个程序运⾏，每⼀个操作系统都运⾏在⼀个虚拟的CPU或者虚拟主机上。

超线程技术只是单CPU模拟双CPU来平衡程序运⾏性能，这两个模拟出来的CPU是不能分离的，只能协同⼯作。

容器(Container）技术是⼀种虚拟化技术，属于操作系统虚拟化的范畴，⽬前最受欢迎的容器环境是Docker。容器技术将单个操作系统的资源划分到孤⽴的组中，以便更好地在孤⽴的组之间平衡有冲突的资源使⽤需求。

2）云存储技术

分布式⽂件系统作为云存储技术中的重要组成部分，在维持兼容性的基础上，对系统复制和容错功能进⾏提升。通过云集群管理实现云存储的可拓展性，借助模块之间的合理搭配，完成解决⽅案拟定解决的⽹络存储问题、联合存储问题、多节点存储问题、备份处理、负载均衡等。云储存的实现过程中，结合分布式的⽂件结构，在硬件⽀撑的基础上，对硬件运⾏环境进⾏优化，确保数据传输的完整性和容错性；结合成本低廉的硬件的扩展，⼤⼤降低了存储的成本。

3）多租户和访问控制管理

云计算访问控制的研究主要集中在云计算访问控制模型、基于ABE密码体制的云计算访问控制、云中多租户及虚拟化访问控制研究。

云计算访问控制模型就是按照特定的访问策略来描述安全系统，建⽴安全模型的⼀种⽅法。⽤户（租户）可以通过访问控制模型得到⼀定的权限，进⽽对云中的数据进⾏访问，所以访问控制模型多⽤于静态分配⽤户的权限。

根据访问控制模型功能的不同，研究的内容和⽅法也不同，常见的有基于任务的访问控制模型、基于属性模型的云计算访问控制、基于UCON模型的云计算访问控制、基于BLP模型的云计算访问控制等。

基于ABE密码机制的云计算访问控制包括4个参与⽅：

数据提供者、可信第三⽅授权中⼼、云存储服务器和⽤户。

4）云安全技术

云安全研究主要包含两个⽅⾯的内容，

⼀是云计算技术本身的安全保护⼯作，涉及相应的数据完整性及可⽤性、隐私保护性以及服务可⽤性等⽅⾯的内容；

⼆是借助于云服务的⽅式来保障客户端⽤户的安全防护需求，通过云计算技术来实现互联⽹安全，涉及基于云计算的病毒防治、⽊马检测技术。

在云安全技术的研究⽅⾯，主要包含：

云计算安全性、保障云基础设施的安全性、云安全技术服务

⼤数据(Big Data）指⽆法在⼀定时间范围内⽤常规软件⼯具进⾏捕捉、管理和处理的数据集合，是具有更强的决策⼒、洞察发现⼒和流程优化能⼒的海量、⾼增长率和多样化的信息资产。

⼤数据是具有体量⼤、结构多样、时效性强等特征的数据，⼤数据从数据源到最终价值实现⼀般需要经过数据准备、数据存储与管理、数据分析和计算、数据治理和知识展现等过程，涉及数据模型、处理模型、计算理论以及与其相关的分布计算、分布存储平台技术、数据清洗和挖掘技术、流式计算和增量处理技术、数据质量控制。

⼤数据主要特征包括：

数据海量：⼤数据的数据体量巨⼤

数据类型多样：⼤数据的数据类型繁多，⼀般分为结构化数据和⾮结构化数据。⾮结构化数据越来越多

数据价值密度低：数据价值密度的⾼低与数据总量的⼤⼩成反⽐。“提纯”。

数据处理速度快：快速的处理，这是⼤数据区分于传统数据挖掘的最显著特征。

⼤数据技术架构主要包含⼤数据获取技术、分布式数据处理技术和⼤数据管理技术，以及⼤数据应⽤和服务技术。

1)⼤数据获取技术

⼤数据获取的研究主要集中在数据采集、整合和清洗三个⽅⾯。

数据采集技术主要是通过分布式爬取、分布式⾼速⾼可靠性数据采集、⾼速全⽹数据映像技术，从⽹站上获取数据信息。除了⽹络中包含的内容之外，对于⽹络流量的采集可以使⽤DPI或DFI等带宽管理技术进⾏处理。

数据整合技术包括多源多模态信息集成模型、异构数据智能转换模型、异构数据集成的智能模式抽取和模式匹配算法、⾃动容错映射和转换模型及算法、整合信息的正确性验证⽅法、整合信息的可⽤性评估⽅法等。

数据清洗技术⼀般根据正确性条件和数据约束规则，清除不合理和错误的数据，对重要的信息进⾏修复，保证数据的完整性。

2）分布式数据处理技术

分布式计算，其核⼼是将任务分解成许多⼩的部分，分配给多台计算机进⾏处理，通过并⾏⼯作的机制，达到节约整体计算时间，提⾼计算效率的⽬的。

主流的分布式计算系统有Hadoop、Spark和Storm。

Hadoop：离线的复杂的⼤数据处理

Spark：离线的快速的⼤数据处理

Storm：在线的实时的⼤数据处理

⼤数据分析与挖掘技术主要指改进⼰有数据挖掘和机器学习技术：开发数据⽹络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术，创新基于对象的数据连接、相似性连接等⼤数据融合技术；突破⽤户兴趣分析、⽹络⾏为分析、情感语义分析等⾯向领域的⼤数据挖掘技术。

3）⼤数据管理技术

⼤数据管理技术主要集中在⼤数据存储、⼤数据协同和安全隐私等⽅⾯。

⼤数据存储技术主要有三个⽅⾯。

①采⽤MPP架构的新型数据库集群，通过列存储、粗粒度索引等多项⼤数据处理技术和⾼效的分布式计算模式，实现⼤数据存储；

②围绕Hadoop衍⽣出相关的⼤数据技术，应对传统关系型数据库较难处理的数据和场景，通过扩展和封装Hadoop来实现对⼤数据存储、分析的⽀撑；

③基于集成的服务器、存储设备、操作系统、数据库管理系统，实现具有良好的稳定性、扩展性的⼤数据⼀体机。

多数据中⼼的协同管理技术是⼤数据研究的另⼀个重要⽅向。通过分布式⼯作流引擎实现⼯作流调度、负载均衡，整合多个数据中⼼的存储和计算资源，从⽽为构建⼤数据服务平台提供⽀撑。

4）⼤数据应⽤和服务技术

⼤数据应⽤和服务技术主要包含分析应⽤技术和可视化技术。

⼤数据分析应⽤主要是⾯向业务的分析应⽤。在分布式海量数据分析和挖掘的基础上，⼤数据分析应⽤技术以业务需求为驱动，⾯向不同类型的业务需求开展专题数据分析，为⽤户提供⾼可⽤、⾼易⽤的数据分析服务。

可视化通过交互式视觉表现的⽅式来帮助⼈们探索和理解复杂的数据。⼤数据的可视化技术主要集中在⽂本可视化技术、⽹络（图）可视化技术、时空数据可视化技术、多维数据可视化和交互可视化等。在技术⽅⾯，主要关注原位交互分析(In Situ Interactive Analysis)、数据表示、不确定性量化和⾯向领域的可视化⼯具库。

区块链技术具有多中⼼化存储、隐私保护、防篡改等特点，提供了开放、分散和容错的事务机制，成为匿名在线⽀付、汇款和数字资产交易的核⼼。

区块链概念可以理解为以⾮对称加密算法为基础，以改进的默克尔树（Merkle Tree）为数据结构，使⽤共识机制、点对点⽹络、智能合约等技术结合⽽成的⼀种分布式存储数据库技术。

区块链分为公有链(Public Blockchain)、联盟链(Consortium Blockchain)、私有链(Private Blockchain）和混合链(Hybrid Blcokchain）四⼤类。

区块链的典型特征包括：

多中⼼化：分布式系统结构。

多⽅维护：激励机制可确保分布式系统中的所有节点均可参与数据区块的验证过程，并通过共识机制选择特定节点将新产⽣的区块加⼊到区块链中。

时序数据：区块链运⽤带有时间戳信息的链式结构来存储数据信息，为数据信息添加时间维度的属性，从⽽可实现数据信息的可追潮性。

智能合约：区块链技术能够为⽤户提供灵活可变的脚本代码，以⽀持其创建新型的智能合约。

不可篡改：在区块链系统中，因为相邻区块间后序区块可对前序区块进⾏验证，若篡改某⼀区块的数据信息，则需递归修改该区块及其所有后序区块的数据信息，然⽽每⼀次哈希的重新计算代价是巨⼤的，且须在有限时间内完成，因此可保障链上数据的不可篡改性。

开放共识：在区块链⽹络中，每台物理设备均可作为该⽹络中的⼀个节点，任意节点可⾃由加⼊且拥有⼀份完整的数据库拷贝。

安全可信：数据安全可通过基于⾮对称加密技术对链上数据进⾏加密来实现，分布式系统中各节点通过区块链共识算法所形成的算⼒来抵御外部攻击、保证链上数据不被篡改和伪造，从⽽具有较⾼的保密性、可信性和安全性。

1）分布式账本

分布式账本是区块链技术的核⼼之⼀。交易记账由分布在不同地⽅的多个节点共同完成，⽽且每⼀个节点保存⼀个唯⼀、真实账本的副本，它们可以参与监督交易合法性，同时也可以共同为其作证；账本⾥的任何改动都会在所有的副本中被反映出来，反应时间会在⼏分钟甚⾄是⼏秒内，记账节点⾜够多，理论上除⾮所有的节点被破坏，所有整个分布式账本系统是⾮常稳健的，从⽽保证了账⽬数据的安全性。

分布式账本中存储的资产是指法律认可的合法资产，如⾦融、实体、电⼦的资产等任何形式的有价资产。为了确保资产的安全性和准确性，分布式账本⼀⽅⾯通过公私钥以及签名控制账本的访问权；另⼀⽅⾯根据共识的规则，账本中的信息更新可以由⼀个、⼀部分⼈或者是所有参与者共同完成。

2）加密算法

区块链系统中的加密算法⼀般分为散列（哈希）算法和⾮对称加密算法。

散列值理解为该数据的“指纹信息”。典型的散列算法有MD5、SHA-1/SHA-2和SM3，目前区块链主要使⽤SHA-2中的SHA256算法

常⽤的⾮对称加密算法包括RSA、Elgamal、D-H、ECC（椭圆曲线加密算法）。

3）共识机制

区块链的共识机制的思想是：在没有中⼼点总体协调的情况下，当某个记账节点提议区块数据增加或减少，并把该提议⼴播给所有的参与节点，所有节点要根据⼀定的规则和机制，对这⼀提议是否能够达成⼀致进⾏计算和处理。

常⽤的共识机制主要有Pow、Pos、DPoS、Paxos、PBFT。

共识机制分析可基于：

合规监管：是否⽀持超级权限节点对全⽹节点、数据进⾏监管。

性能效率：交易达成共识被确认的效率。

资源消耗：共识过程中耗费的CPU、⽹络输⼊输出、存储等资源。

容错性：防攻击、防歎诈的能⼒。

人工智能

机器学习，以及迁移学习、强化学习、多核学习和多视图学习；⾃然语⾔处理；智能⾃动问答、机器翻译、知识图谱、专家系统。

机器学习、⾃然语⾔处理、专家系统，

1）机器学习

机器学习是⼀种⾃动将模型与数据匹配，并通过训练模型对数据进⾏“学习”的技术。机器学习算法及应⽤、强化学习算法、近似及优化算法和规划问题等

神经⽹络是机器学习的⼀种形式，并⽤于分类型应⽤程序。它根据输⼊、输出、变量权重或将输⼊与输出关联的“特征”来分析问题。它类似于神经元处理信号的⽅式。深度学习是通过多等级的特征和变量来预测结果的神经⽹络模型。深度学习模型中的每个特征通常对于⼈类观察者⽽⾔意义不⼤，使得该模型的使⽤难度很⼤且难以解释。深度学习模型使⽤⼀种称为反向传播的技术，通过模型进⾏预测或对输出进⾏分类。强化学习是机器学习的另外⼀种⽅式，指机器学习系统制订了⽬标⽽且迈向⽬标的每⼀步都会得到某种形式的奖励。

机器学习模型是以统计为基础的，⽽且应该将其与常规分析进⾏对⽐以明确其价值增量。

2）⾃然语⾔处理

⾃然语⾔处理(Natural Language Processing，NLP〉它研究能实现⼈与计算机之间⽤⾃然语⾔进⾏有效通信的各种理论和⽅法。

⾃然语⾔处理并不是⼀般地研究⾃然语⾔，⽽在于研制能有效地使⽤⾃然语⾔通信的计算机系统，特别是其中的软件系统。因⽽它是计算机科学的⼀部分。

⾃然语⾔处理主要应⽤于机器翻译、舆情监测、⾃动摘要、观点提取、⽂本分类、问题回答、⽂本语义对⽐、语⾳识别、中⽂OCR。

3）专家系统

专家系统通常由⼈机交互界⾯、知识库、推理机、解释器、综合数据库、知识获取等6个部分构成，有⼤量的某个领域专家⽔平的知识与经验，进⾏推理和判断，决策过程，

专家系统是⼀种模拟⼈类专家解决领域问题的计算机程序系统。

虚拟现实

虚拟现实(Virtual Reality,VR）是⼀种可以创⽴和体验虚拟世界的计算机系统（其中虚拟世界是全体虚拟环境的总称）。通过虚拟现实系统所建⽴的信息空间，⼰不再是单纯的数字信息空间，⽽是⼀个包容多种信息的多维化的信息空间（Cyberspace)，⼈类的感性认识和理性认识能⼒都能在这个多维化的信息空间中得到充分的发挥。

虚拟现实技术的主要特征包括沉浸性、交互性、多感知性、构想性（也称想象性）和⾃主性。

⼰经从桌⾯虚拟现实系统、沉浸式虚拟现实系统、分布式虚拟现实系统等，向着增强式虚拟现实系统（Augmented Reality，AR）和元宇宙的⽅向发展。

虚拟现实的关键技术主要涉及⼈机交互技术、传感器技术、动态环境建模技术和系统集成技术等。

1）⼈机交互技术

VR眼镜、控制⼿柄等传感器设备，能让⽤户真实感受到周围事物存在的⼀种三维交互技术，将三维交互技术与语⾳识别、语⾳输⼊技术及其他⽤于监测⽤户⾏为动作的设备相结合，⼈机交互⼿段。

2）传感器技术

VR头显（即VR眼镜）设备过重、分辨率低、刷新频率慢等，容易造成视觉疲劳；数据⼿套等设备也都有延迟长、使⽤灵敏度不够的缺陷，所以传感器技术是VR技术更好地实现⼈机交互的关键。

3）动态环境建模技术

该技术是利⽤三维数据建⽴虚拟环境模型。计算机辅助设计(Computer Aided Design，CAD)，操作者可以通过CAD技术获取所需数据，并通过得到的数据建⽴满⾜实际需要的虚拟环境模型。多数情况下还可以利⽤视觉建模技术。

4）系统集成技术

信息同步、数据转换、模型标定、识别和合成等技术，由于VR系统中储存着许多的语⾳输⼊信息、感知信息以及数据模型。