信息技术是在信息科学的基本原理和方法下,获取信息、处理信息、传输信息和使用信息的应用技术总称。从信息技术的发展过程来看,信息技术在传感器技术、通信技术和计算机技术的基础上,融合创新和持续发展,孕育和产生了物联网、云计算、大数据、区块链、人工智能和虚拟现实等新一代信息技术,成为支撑当今经济活动和社会生活的基石,代表着当今先进生产力的发展方向。
从宏观上讲,信息技术与信息化、信息系统密不可分。信息技术是实现信息化的手段,是信息系统建设的基础。信息化的需求驱动信息技术高速发展,信息系统的广泛应用促进了信息技术的迭代创新。近年来,随着新一代信息技术的发展,信息及其相关的数据成为重要生产要素和战略资源、使得人们能更高效地进行资源优化配置,持续推动传统产业不断升级、社会劳动生产率的不断提升,从而带动全球信息化发展和数字化转型,新一代信息技术已成为世界各国投资和重点发展的战略性产业。
2.1信息技术及其发展37
信息技术是以微电子学为基础的计算机技术和电信技术的结合而形成的,对声音的、图像的、文字的、数字的和各种传感信号的信息进行获取、加工、处理、存储、传播和使用的技术。按表现形态的不同,信息技术可分为硬技术(物化技术)与软技术(非物化技术)。前者指各种信息设备及其功能,如传感器、服务器、智能手机、通信卫星、笔记本电脑。后者指有关信息获取与处理的各种知识、方法与技能,如语言文字技术、数据统计分析技术、规划决策技术、计算机软件技术等。
2.1.1计算机软硬件37
计算机硬件(Computer Hardware)是指计算机系统中由电子、机械和光电元件等组成的各种物理装置的总称。这些物理装置按系统结构的要求构成一个有机整体,为计算机软件运行提供物质基础。计算机软件(Computer Software)是指计算机系统中的程序及其文档,程序是计算任务的处理对象和处理规则的描述;文档是为了便于了解程序所需的阐明性资料。程序必须安装入机器内部才能工作,文档一般是给人看的,不一定安装入机器。
硬件和软件互相依存。硬件是软件赖以工作的物质基础,软件的正常工作是硬件发挥作用的重要途径。计算机系统必须要配备完善的软件系统才能正常工作,从而充分发挥其硬件的各种功能。硬件和软件协同发展,计算机软件随硬件技术的迅速发展而发展,而软件的不断发展与完善又促进硬件的更新,两者密切交织发展,缺一不可。随着计算机技术的发展,在许多情况下,计算机的某些功能既可以由硬件实现,也可以由软件来实现。因此硬件与软件在一定意来说没有绝对严格的界线。
2.1.2计算机网络38
在计算机领域中,网络就是用物理链路将各个孤立的工作站或主机相连在一起,组成数据链路,从而达到资源共享和通信的目的。凡将地理位置不同,并具有独立功能的多个计算机系统通过通信设备和线路连接起来,且以功能完善的网络软件(网络协议、信息交换方式及网络操作系统等)实现网络资源共享的系统,均可称为计算机网络。从网络的作用范围可将网络类别划分为个人局域网(Personal Area Network, PAN)、局域网(Local Area Network, LAN)、城域网(Metropolitan Area Network, MAN)、广域网(Wide Area Network, WAN)、公用网(Public Network)、专用网(Private Network)。
1.网络标准协议
网络协议是为计算机网络中进行数据交换而建立的规则、标准或约定的集合。网络协议由三个要素组成,分别是语义、语法和时序。语义是解释控制信息每个部分的含义,它规定了需要发出何种控制信息,完成的动作以及做出什么样的响应;语法是用户数据与控制信息的结构与格式,以及数据出现的顺序;时序是对事件发生顺序的详细说明。人们形象地将这三个要素描述为:语义表示要做什么,语法表示要怎么做,时序表示做的顺序。
-
OSI
国际标准化组织(ISO)和国际电报电话咨询委员会(CCITT)联合制定的开放系统互连参考模型(Open System Interconnect, OSI),其目的是为异种计算机互连提供一个共同的基础和标准框架,并为保持相关标准的一致性和兼容性提供共同的参考。OSI采用了分层的结构化技术,从下到上共分物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。
广域网协议是在OSI参考模型的最下面三层操作,定义了在不同的广域网介质上的通信。广域网协议主要包括:PPP点对点协议、ISDN综合业务数字网、xDSL(DSL数字用户线路的统称:HDSL、SDSL、MVL、ADSL)、DDN数字专线、x.25、FR帧中继、ATM异步传输模式。 -
IEEE 802协议族
IEEE 802规范定义了网卡如何访问传输介质(如光缆、双绞线、无线等),以及如何在传输介质上传输数据的方法,还定义了传输信息的网络设备之间连接的建立、维护和拆除的途径。遵循IEEE 802标准的产品包括网卡、桥接器、路由器以及其他一些用来建立局域网络的组件。 IEEE 802规范包括:802.1(802协议概论)、802.2(逻辑链路控制层LLC协议)、802.3(以太网的CSMA/CD载波监听多路访问/冲突检测协议)、802.4(令牌总线Token Bus协议)、802.5(令牌环Token Ring协议)、802.6(城域网MAN协议)、802.7(FDDI宽带技术协议)、802.8(光纤技术协议)、802.9(局域网上的语音/数据集成规范)、802.10(局域网安全互操作标准)、802.11(无线局域网WLAN标准协议)。 -
TCP/IP
Internet是一个包括成于上万相互协作的组织和网络的集合体。TCP/IP是Internet的核心。TCP/IP在一定程度上参考了OSI,它将OSI的七层简化为四层:
⓵应用层、表示层、会话层三个层次提供的服务相差不是很大,所以在TCP/IP中,它们被合并为应用层一个层次。
⓶由于传输层和网络层在网络协议中的地位十分重要,所以在TCP/IP中它们被作为独立的两个层次。
⓷因为数据链路层和物理层的内容相差不多,所以在TCP/IP中它们被归并在网络接口层一个层次里。
在应用层中,定义了很多面向应用的协议,应用程序通过本层协议利用网络完成数据交互的任务。这些协议主要有FTP(File Transfer Protocol,文件传输协议)、TFTP (Trivial File Transfer Protocol, 简单文件传输协议)、HTTP(Hypertext Transfer Protocol, 超文本传输协议)、 SMTP(Simple Mail Transfer Protocol, 简单邮件传输协议)、DHCP(Dynamic Host Configuration Protocol, 动态主机配置协议)、Telnet(远程登录协议)、DNS(Domain Name System,域名系统)、SNMP(Simple Network Management Protocol, 简单网络管理协议)等。
传输层主要有两个传输协议,分别是TCP和UDP (User Datagram Protocol,用户数据报协议),这些协议负责提供流量控制、错误校验和排序服务。
网络层中的协议主要有IP、ICMP(Intemet Control Message Protocol,网际控制报文协议)、IGMP(Intemet Group Management Protocol, 网际组管理协议)、ARP (Address Resolution Protocol, 地址解析协议)和RARP(Reverse Address Resolution Protocol, 反向地址解析协议)等,这些协议处理信息的路由和主机地址解析。
由于网络接口层兼并了物理层和数据链路层,所以网络接口层既是传输数据的物理媒介,也可以为网络层提供一条准确无误的线路。
2.软件定义网络
软件定义网络(Software Defined Network, SDN)是一种新型网络创新架构,是网络虚拟化的一种实现方式,它可通过软件编程的形式定义和控制网络,其通过将网络设备的控制面与数据面分离开来,从而实现了网络流星的灵活控制,使网络变得更加智能,为核心网络及应用的创新提供了良好的平台。
利用分层的思想,SDN将数据与控制相分离。在控制层,包括具有逻辑中心化和可编程的控制器,可掌握全局网络信息,方便运营商和科研人员管理配置网络和部署新协议等。在数据层,包括哑交换机(与传统的二层交换机不同,专指用于转发数据的设备),仅提供简单的数据转发功能,可以快速处理匹配的数据包,适应流量日益增长的需求。两层之间采用开放的统一接口(如OpenFlow等)进行交互。控制器通过标准接口向交换机下发统一标准规则,交换机仅需按照这些规则执行相应的动作即可。SDN打破了传统网络设备的封闭性。此外,南北向和东西向的开放接口及可编程性,也使得网络管理变得更加简单、动态和灵活。
SDN的整体架构由下到上(由南到北)分为数据平面、控制平面和应用平面,具体如图2-1所示。其中,数据平面由交换机等网络通用硬件组成,各个网络设备之间通过不同规则形成的SDN数据通路连接;控制平面包含了逻辑上为中心的SDN控制器,它掌握着全局网络信息,负责各种转发规则的控制;应用平面包含着各种基于SDN的网络应用,用户无须关心底层细节就可以编程、部署新应用。
控制平面与数据平面之间通过SDN控制数据平面接口(Control-Data-Plane Interface, CDPI)进行通信,它具有统一的通信标准,主要负责将控制器中的转发规则下发至转发设备,最主要应用的是OpenFlow协议。控制平面与应用平面之间通过SDN北向接口(NorthBound Interface, NBI)进行通信,而NBI并非统一标准,它允许用户根据自身需求定制开发各种网络管理应用。
SDN中的接口具有开放性,以控制器为逻辑中心,南向接口负责与数据平面进行通信,北向接口负责与应用平面进行通信,东西向接口负责多控制器之间的通信。最主流的南向接口 CDPI采用的是OpenFlow协议。OpenFlow最基本的特点是基于流(Flow)的概念来匹配转发规则,每一个交换机都维护一个流表(Flow Table),依据流表中的转发规则进行转发,而流表的建立、维护和下发都是由控制器完成的。针对北向接口,应用程序通过北向接口编程来调用所需的各种网络资源,实现对网络的快速配置和部署。东西向接口使控制器具有可扩展性,为负载均衡和性能提升提供了技术保障。
3.第五代移动通信技术
第五代移动通信技术(5th Generation Mobile Communication Technology, 5G)是具有高速率、低时延和大连接特点的新一代移动通信技术。
国际电信联盟(ITU)定义了5G的八大指标,与4G的对比如表2-1所示。
5G国际技术标准重点满足灵活多样的物联网需要。在正交频分多址(Orthogonal Frequency Division Multiple Access, OFDMA)和多入多出(Multiple Input Multiple Output, MIMO)基础技术上,5G为支持三大应用场景,采用了灵活的全新系统设计。在频段方面,与4G支持中低频不同,考虑到中低频资源有限,5G同时支持中低频和高频频段,其中中低频满足覆盖和容量需求,高频满足在热点区域提升容最的需求,5G针对中低频和高频设计了统一的技术方案,并支待百MHz的基础带宽。为了支待高速率传输和更优覆盖,5G采用LDPC(一种具有稀疏校验矩阵的分组纠错码)、Polar(一种基于信道极化理论的线性分组码)新型信道编码方案、性能更强的大规模天线技术等。为了支持低时延、高可靠,5G采用短帧、快速反馈、多层/多站数据重传等技术。
国际电信联盟(ITU)定义了5G的三大类应用场景,即增强移动宽带(eMBB)、超高可靠低时延通信(uRLLC)和海量机器类通信(mMTC)。增强移动宽带主要面向移动互联网流量爆炸式增长,为移动互联网用户提供更加极致的应用体验;超高可靠低时延通信主要面向工业控制、远程医疗、自动驾驶等对时延和可靠性具有极高要求的垂直行业应用需求;海量机器类通信主要面向智慧城市、智能家居、环境监测等以传感和数据采集为目标的应用需求。
2.1.3存储和数据库41
1.存储技术
存储分类根据服务器类型分为:封闭系统的存储和开放系统的存储。封闭系统主要指大型机等服务器。开放系统指基于包括麒麟、欧拉、UNIX、Linux等操作系统的服务器。开放系统的存储分为:内置存储和外挂存储。外挂存储根据连接的方式分为直连式存储(Direct-Attached Storage, DAS)和网络化存储(Fabric-Attached Storage, FAS)。网络化存储根据传输协议又分为网络接入存储(Network-Attached Storage, NAS)和存储区域网络(Storage Area Network, SAN)。DAS、NAS、SAN等存储模式之间的技术与应用对比如表2-2所示。
表2-2 常用存储模式的技术与应用对比
存储系统架构 | DAS | NAS | SAN |
---|---|---|---|
安装难易度 | 不一定 | 简单 | 困难 |
数据传输协议 | SCSI/FC/ATA | TCP/IP | FC |
传输对象 | 数据块 | 文件 | 数据块 |
使用标准文件共享协议 | 否 | 是(NFS/CIFS…) | 否 |
异种操作系统文件共享 | 否 | 是 | 需要转换设备 |
集中式管理 | 不一定 | 是 | 需要管理工具 |
管理难易度 | 不一定 | 以网络为基础,容易 | 不一定,但通常很难 |
提高服务器效率 | 否 | 是 | 是 |
灾难忍受度 | 低 | 高 | 高,专有方案 |
适合对象 | 中小组织服务器捆绑磁盘(JBOD) | 中小组织 SOHO族 组织部门 | 大型组织 数据中心 |
应用环境 | 局域网 文档共享程度低 独立操作平台 服务器数量少 | 局域网 文档共享程度高 异质格式存储需求高 | 光纤通道储域网 网络环境复杂 文档共享程度高 异质操作系统平台 服务器数量多 |
业务模式 | 一般服务器 | Web服务器 多媒体资料存储 文件资料共享 | 大型资料库 数据库等 |
档案格式复杂度 | 低 | 中 | 高 |
容量扩充能力 | 低 | 中 | 高 |
存储虚拟化(Storage Virtualization)是"云存储"的核心技术之一,它把来自一个或多个网络的存储资源整合起来,向用户提供一个抽象的逻辑视图,用户可以通过这个视图中的统一逻辑接口来访问被整合的存储资源。用户在访问数据时并不知道真实的物理位置。它带给人们直接的好处是提高了存储利用率,降低了存储成本,简化了大型、复杂、异构的存储环境的管理工作。
存储虚拟化使存储设备能够转换为逻辑数据存储。虚拟机作为一组文件存储在数据存储的目录中。数据存储是类似于文件系统的逻辑容器。它隐藏了每个存储设备的特性,形成一个统一的模型,为虚拟机提供磁盘。存储虚拟化技术帮助系统管理虚拟基础架构存储资源,提高资源利用率和灵活性,提高应用正常运行时间。
绿色存储(Green Storage)技术是指从节能环保的角度出发,用来设计生产能效更佳的存储产品,降低数据存储设备的功耗,提高存储设备每瓦性能的技术。绿色存储是一个系统设计方案,贯穿于整个存储设计过程,包含存储系统的外部环境、存储架构、存储产品、存储技术、文件系统和软件配置等多方面因素。
绿色存储技术的核心是设计运行温度更低的处理器和更有效率的系统,生产更低能耗的存储系统或组件,降低产品所产生的电子碳化合物,其最终目的是提高所有网络存储设备的能源效率,用最少的存储容量来满足业务需求,从而消耗最低的能源。以绿色理念为指导的存储系统最终是存储容量、性能、能耗三者的平衡。
绿色存储技术涉及所有存储分享技术,包括磁盘和磁带系统、服务器连接、存储设备、网络架构及其他存储网络架构、文件服务和存储应用软件、重复数据删除、自动精简配置和基于磁带的备份技术等可以提高存储利用率、降低建设成本和运行成本的存储技术,其目的是提高所有网络存储技术的能源效率。
2.数据结构模型
数据结构模型是数据库系统的核心。数据结构模型描述了在数据库中结构化和操纵数据的方法,模型的结构部分规定了数据如何被描述(例如树、表等)。模型的操纵部分规定了数据的添加、删除、显示、维护、打印、查找、选择、排序和更新等操作。
常见的数据结构模型有三种:层次模型、网状模型和关系模型,层次模型和网状模型又统称为格式化数据模型。
1)层次模型
层次模型是数据库系统最早使用的一种模型,它用"树"结构表示实体集之间的关联,其中实体集(用矩形框表示)为结点,而树中各结点之间的连线表示它们之间的关联。在层次模型中,每个结点表示一个记录类型,记录类型之间的联系用结点之间的连线(有向边)表示,这种联系是父子之间的一对多的联系。这就使得层次数据库系统只能处理一对多的实体联系。每个记录类型可包含若干个字段,这里记录类型描述的是实体,字段描述实体的属性。每个记录类型及其字段都必须命名。各个记录类型、同一记录类型中各个字段不能同名。每个记录类型可以定义一个排序字段,也称码字段,如果定义该排序字段的值是唯一的,则它能唯一地标识一个记录值。
一个层次模型在理论上可以包含任意有限个记录类型和字段,但任何实际的系统都会因为存储容量或实现复杂度而限制层次模型中包含的记录类型个数和字段个数。在层次模型中,同一双亲的子女结点称为兄弟结点,没有子女结点的结点称为叶结点。层次模型的一个基本的特点是任何一个给定的记录值只能按其层次路径查看,没有一个子女记录值能够脱离双亲记录值而独立存在。
2)网状模型
网状数据库系统采用网状模型作为数据的组织方式。网状模型用网状结构表示实体类型及其实体之间的联系。网状模型是一种可以灵活地描述事物及其之间关系的数据库模型。
现实世界中事物之间的联系更多的是非层次关系的,一个事物和另外的几个都有联系,用层次模型表示这种关系很不直观,网状模型克服了这一弊病,可以清晰地表示这种非层次关系。用有向图结构表示实体类型及实体间联系的数据结构模型称为网状模型。网状模型取消了层次模型的不能表示非树状结构的限制,两个或两个以上的结点都可以有多个双亲结点,则此有向树变成了有向图,该有向图描述了网状模型。
网状模型中以记录为数据的存储单位。记录包含若干数据项。网状数据库的数据项可以是多值的和复合的数据。每个记录有一个唯一标识它的内部标识符,称为码(DatabaseKey, DBK),它在一个记录存入数据库时由数据库管理系统(Database Management System, DBMS)自动赋予。DBK可以看作记录的逻辑地址,可作记录的替身或用于寻找记录。网状数据库是导航式(Navigation)数据库,用户在操作数据库时不但说明要做什么,还要说明怎么做。例如在查找语句中不但要说明查找的对象,而且要规定存取路径。
3)关系模型
关系模型是在关系结构的数据库中用二维表格的形式表示实体以及实体之间的联系的模型。关系模型是以集合论中的关系概念为基础发展起来的。关系模型中无论是实体还是实体间的联系均由单一的结构类型关系来表示。
关系模型的基本假定是所有数据都表示为数学上的关系,就是说n个集合的笛卡儿积的一个子集,有关这种数据的推理通过二值的谓词逻辑来进行,这意味着对每个命题都只有两种可能的值:要么是真,要么是假。数据通过关系演算和关系代数的一种方式来操作。关系模型是采用二维表格结构表达实体类型及实体间联系的数据模型。
关系模型允许设计者通过数据库规范化的提炼,去建立一个信息的一致性的模型。访问计划和其他实现与操作细节由DBMS引擎来处理,而不应该反映在逻辑模型中。这与SQL DBMS普遍的实践是对立的,在它们那里性能调整经常需要改变逻辑模型。
基本的关系建造块是域或者叫数据类型。元组是属性的有序多重集(Multiset),属性是域和值的有序对。关系变量(Relvar)是域和名字的有序对(序偶)的集合,它充当关系的表头 (Header)。关系是元组的集合。尽管这些关系概念是在数学上的定义的,它们可以宽松地映射到传统数据库概念上。表是关系公认的可视表示;元组类似于行的概念。
关系模型的基本原理是信息原理,即所有信息都表示为关系中的数据值。所以,关系变量在设计时是相互无关联的;反而,设计者在多个关系变量中使用相同的域,如果一个属性依赖于另一个属性,则通过参照完整性来强制这种依赖性。
3.常用数据库类型
数据库根据存储方式可以分为关系型数据库(SQL)和非关系型数据库(Not Only SQL, NoSQL)。
1)关系型数据库
网状数据库(以网状数据模型为基础建立的数据库)和层次数据库(采用层次模型作为数据组织方式的数据库)已经很好地解决了数据的集中和共享问题,但是在数据独立性和抽象级别上仍有很大欠缺。用户在对这两种数据库进行存取时,仍然需要明确数据的存储结构,指出存取路径。而后来出现的关系数据库较好地解决了这些问题。关系数据库系统采用关系模型作为数据的组织方式。关系数据库是在一个给定的应用领域中,所有实体及实体之间联系的集合。关系型数据库支持事务的ACID原则,即原子性(Atomicity)、一致性(Consistency)、隔离性 (Isolation)、持久性(Durab山ty),这四种原则保证在事务过程当中数据的正确性。
2)非关系型数据库
非关系型数据库是分布式的、非关系型的、不保证遵循ACID原则的数据存储系统。 NoSQL数据存储不需要固定的表结构,通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。
常见的非关系数据库分为:
● 键值数据库:类似传统语言中使用的哈希表。可以通过key来添加、查询或者删除数据库,因为使用key主键访问,会获得很高的性能及扩展性。Key/Value模型对于信息系统来说,其优势在于简单、易部署、高并发。
● 列存储(Column-oriented)数据库:将数据存储在列族中,一个列族存储经常被一起查询,比如人们经常会查询某个人的姓名和年龄,而不是薪资。这种情况下姓名和年龄会被放到一个列族中,薪资会被放到另一个列族中。这种数据库通常用来应对分布式存储海量数据。
● 面向文档(Document-Oriented)数据库:文档型数据库可以看作是键值数据库的升级版,允许之间嵌套键值,而且文档型数据库比键值数据库的查询效率更高。面向文档数据库会将数据以文档形式存储。
● 图形数据库:允许人们将数据以图的方式存储。实体会作为顶点,而实体之间的关系则会作为边。比如有三个实体:Steve Jobs、Apple和Next,则会有两个Founded by的边将 Apple和Next连接到Steve Jobs。
3)不同存储方式数据库的优缺点
关系型数据库和非关系型数据库的优缺点,如表2-3所示。
表2-3 常用存储数据库类型优缺点
数据库类型 | 特点类型 | 描述 | |
关系型数据库 | 优点 | ● 容易理解:二维表结构是非常贴近逻辑世界的一个概念,关系模型相对网状、层次等其他模型来说更容易理解 ● 使用方便:通用的SQL语言使得操作关系型数据库非常方便 ● 易于维护:丰富的完整性(实体完整性、参照完整性和用户定义的完整性)大大减低了数据冗余和数据不一致的概率 | |
缺点 | ● 数据读写必须经过SQL解析,大量数据、高并发下读写性能不足(对于传统关系型数据库来说,硬盘I/O是一个很大的瓶颈) ● 具有固定的表结构,因此扩展困难 ● 多表的关联查询导致性能欠佳 | ||
非关系型数据库 | 优点 | ● 高并发:大数据下读写能力较强(基于键值对的,可以想象成表中的主键和值的对应关系,且不需要经过SQL层的解析,所以性能非常高) ● 基本支持分布式:易于扩展,可伸缩(因为基于键值对,数据之间没有耦合性,所以非常容易水平扩展) ● 简单:弱结构化存储 | |
缺点 | ● 事务支待较弱 ● 通用性差 ● 无完整约束,复杂业务场景支持较差 |
4.数据仓库
传统的数据库系统中缺乏决策分析所需的大量历史数据信息,因为传统的数据库一般只保留当前或近期的数据信息。为了满足中高层管理人员预测、决策分析的需要,在传统数据库的基础上产生了能够满足预测、决策分析需要的数据环境————数据仓库。数据仓库相关的基础概念包括:
● 清洗/转换/加载(Extract/Transformation/Load, ETL):用户从数据源抽取出所需的数据,经过数据清洗、转换,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。
● 元数据:关于数据的数据,指在数据仓库建设过程中所产生的有关数据源定义、目标定义、转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息。典型的元数据包括:数据仓库表的结构、数据仓库表的属性、数据仓库的源数据(记录系统)、从记录系统到数据仓库的映射、数据模型的规格说明、抽取日志和访问数据的公用例行程序等。
● 粒度:数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高,粒度级就越小;相反,细化程度越低,粒度级就越大。
● 分割:结构相同的数据被分成多个数据物理单元。任何给定的数据单元属于且仅属于一个分割。
● 数据集市:小型的,面向部门或工作组级的数据仓库。
● 操作数据存储(Operation Data Store, ODS): 能支持组织日常的全局应用的数据集合,是不同于DB的一种新的数据环境,是DW扩展后得到的一个混合形式。它具有四个基本特点:面向主题的、集成的、可变的、当前或接近当前的。
● 数据模型:逻辑数据结构,包括由数据库管理系统为有效进行数据库处理提供的操作和约束;用于表示数据的系统。
● 人工关系:在决策支持系统环境中用于表示参照完整性的一种设计技术。
数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合,用于支持管理决策。常见的数据仓库的体系结构如图2-2所示。
(1)数据源。它是数据仓库系统的基础,是整个系统的数据源泉。通常包括组织内部信息和外部信息。内部信息包括存放于关系型数据库管理系统中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等。
(2)数据的存储与管理。它是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库,同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心,则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据,进行抽取、清理并有效集成,按照主题进行组织。数据仓库按照数据的覆盖范围可以分为组织级数据仓库和部门级数据仓库(通常称为数据集市)。
(3)联机分析处理(On-Line Analytic Processing, OLAP)服务器。OLAP对分析需要的数据进行有效集成,按多维模型予以组织,以便进行多角度、多层次的分析,并发现趋势。其具体实现可以分为:基于关系数据库的OLAP (Relational OLAP, ROLAP)、基于多维数据组织的OLAP (Multidimensional OLAP, MOLAP)和基于混合数据组织的OLAP (Hybrid OLAP, HOLAP)。ROLAP基本数据和聚合数据均存放在RDBMS之中;MOLAP基本数据和聚合数据均存放于多维数据库中;HOLAP基本数据存放于关系数据库管理系统(Relational Database Management System, RDBMS)之中,聚合数据存放于多维数据库中。
(4)前端工具。前端工具主要包括各种查询工具、报表工具、分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器,报表工具、数据挖掘工具主要针对数据仓库。
2.1.4信息安全47
常见的信息安全问题主要表现为:计算机病毒泛滥、恶意软件的入侵、黑客攻击、利用计算机犯罪、网络有害信息泛滥、个人隐私泄露等。随着物联网、云计算、人工智能、大数据等新一代信息技术的广泛应用,信息安全也面临着新的问题和挑战。
1.信息安全基础
信息安全强调信息(数据)本身的安全属性,主要包括以下内容。
● 保密性(Confidentiality):信息不被未授权者知晓的属性。
● 完整性(Integrity):信息是正确的、真实的、未被篡改的、完整无缺的属性。
● 可用性(Availab山ty):信息可以随时正常使用的属性。
信息必须依赖其存储、传输、处理及应用的载体(媒介)而存在,因此针对信息系统,安全可以划分为四个层次:设备安全、数据安全、内容安全、行为安全。
信息系统一般由计算机系统、网络系统、操作系统、数据库系统和应用系统组成。与此对应,信息系统安全主要包括计算机设备安全、网络安全、操作系统安全、数据库系统安全和应用系统安全等。
网络安全技术主要包括:防火墙、入侵检测与防护、VPN、安全扫描、网络蜜罐技术、用户和实体行为分析技术等。
2.加密解密
为了保证信息的安全性,就需要采用信息加密技术对信息进行伪装,使得信息非法窃取者无法理解信息的真实含义;需要采用加密算法提取信息的特征码(校验码)或特征矢量,并与有关信息封装在一起,信息的合法拥有者可以利用特征码对信息的完整性进行校验;需要采用加密算法对信息使用者的身份进行认证、识别和确认,以对信息的使用进行控制。
发信者将明文数据加密成密文,然后将密文数据送入网络传输或存入计算机文件,而且只给合法收信者分配密钥。合法收信者接收到密文后,实行与加密变换相逆的变换,去掉密文的伪装并恢复出明文,这一过程称为解密(Decryption)。解密在解密密钥的控制下进行。用于解密的一组数学变换称为解密算法。
加密技术包括两个元素:算法和密钥。密钥加密技术的密码体制分为对称密钥体制和非对称密钥体制两种。相应地,对数据加密的技术分为两类,即对称加密(私人密钥加密)和非对称加密(公开密钥加密)。对称加密以数据加密标准(Data Encryption Standard, DES)算法为典型代表,非对称加密通常以RSA(Rivest Shamir Adleman)算法为代表。对称加密的加密密钥和解密密钥相同,而非对称加密的加密密钥和解密密钥不同,加密密钥可以公开而解密密钥需要保密。
3.安全行为分析技术
传统安全产品、技术、方案基本上都是基于已知特征进行规则匹配来进行分析和检测。基于特征、规则和人工分析,以"特征"为核心的检测分析存在安全可见性盲区,有滞后效应、无力检测未知攻击、容易被绕过,以及难以适应攻防对抗的网络现实和快速变化的组织环境、外部威胁等问题。另一方面,虽然大多数的攻击可能来自组织以外,但最严重的损害往往是由内部人员造成的,只有管理好内部威胁,才能保证信息和网络安全。
用户和实体行为分析(User and Entity Behavior Analytics, UEBA)提供了用户画像及基于各种分析方法的异常检测,结合基本分析方法(利用签名的规则、模式匹配、简单统计、阅值等)和高级分析方法(监督和无监督的机器学习等),用打包分析来评估用户和其他实体(主机、应用程序、网络、数据库等),发现与用户或实体标准画像或行为异常的活动所相关的潜在事件。UEBA以用户和实体为对象,利用大数据,结合规则以及机器学习模型,并通过定义此类基线,对用户和实体行为进行分析和异常检测,尽可能快速地感知内部用户和实体的可疑或非法行为。
UEBA是一个完整的系统,涉及算法、工程等检测部分,以及用户与实体风险评分排序、调查等用户交换和反馈。从架构上来看,UEBA系统通常包括数据获取层、算法分析层和场景应用层。
4.网络安全态势感知
网络安全态势感知(Network Security Situation Awareness)是在大规模网络环境中,对能够引起网络态势发生变化的安全要素进行获取、理解、显示,并据此预测未来的网络安全发展趋势。安全态势感知不仅是一种安全技术,也是一种新兴的安全概念。它是一种基于环境的、动态的、整体的洞悉安全风险的能力。安全态势感知的前提是安全大数据,其在安全大数据的基础上进行数据整合、特征提取等,然后应用一系列态势评估算法生成网络的整体态势状况,应用态势预测算法预测态势的发展状况,并使用数据可视化技术,将态势状况和预测情况展示给安全人员,方便安全人员直观便捷地了解网络当前状态及预期的风险。
网络安全态势感知的关键技术主要包括:海量多元异构数据的汇聚融合技术、面向多类型的网络安全威胁评估技术、网络安全态势评估与决策支撑技术、网络安全态势可视化等。
2.1.5信息技术的发展48
作为信息技术的基础,计算机软硬件、网络、存储和数据库、信息安全等都在不断的发展创新,引领着当前信息技术发展的潮流。
在计算机软硬件方面,计算机硬件技术将向超高速、超小型、平行处理、智能化的方向发展,计算机硬件设备的体积越来越小、速度越来越高、容量越来越大、功耗越来越低、可靠性越来越高。计算机软件越来越丰富,功能越来越强大,"软件定义一切"概念成为当前发展的主流。在网络技术方面,计算机网络与通信技术之间的联系日益密切,甚至是已经融为一体。作
为国家最重要的基础设施之一,5G成为当前的主流,面向物联网、低时延场景的窄带物联网(Narrow Band Internet of Things, NB-IoT)和增强型机器类型通信(enhanced Machine-Type Communication, eMTC)、工业物联网(Industrial Internet of Things, IIoT)和低延时高可靠通信(Ultra Reliable Low Latency Communication, URLLC)等技术,将进一步得到充分发展。
在存储和数据库方面,随着数据最的不断爆炸式增长,数据存储结构也越来越灵活多样,日益变革的新兴业务需求驱使数据库及应用系统的存在形式愈发丰富,这些变化均对各类数据库的架构和存储模式提出了挑战,推动数据库技术不断向着模型拓展、架构解耦的方向演进。
在信息安全方面,传统计算机安全理念将过渡到以可信计算理念为核心的计算机安全,由网络普及应用引发的技术与应用模式的变革,正在进一步推动信息安全网络化关键技术的创新;同时信息安全标准的研究与制定,信息安全产品和服务的集成和融合,正引领着当前信息安全技术朝着标准化和集成化的方向发展。
2.2新一代信息技术及应用49
信息技术在智能化、系统化、微型化、云端化的基础上不断融合创新,促进了物联网、云计算、大数据、区块链、人工智能、虚拟现实等新一代信息技术的诞生。新一代信息技术与信息资源充分开发利用形成的新模式、新业态等,是信息化发展的主要趋势,也是信息系统集成领域未来的重要业务范畴。
2.2.1物联网49
物联网(The Internet of Things)是指通过信息传感设备,按约定的协议将任何物品与互联网相连接,进行信息交换和通信,以实现智能化识别、定位、跟踪、监控和管理的网络。物联网主要解决物品与物品(Thing to Thing, T2T)、人与物品(Human to Thing, H2T)、人与人 (Human to Human, H2H)之间的互连。另外,许多学者在讨论物联网时经常会引入M2M的概念:可以解释为人与人(Man to Man)、人与机器(Man to Machine)或机器与机器(Machine to Machine)。
1.技术基础
物联网架构可分为三层:感知层、网络层和应用层。感知层由各种传感器构成,包括温度传感器,二维码标签、RFID标签和读写器,摄像头,GPS等感知终端。感知层是物联网识别物体、采集信息的来源。网络层由各种网络,包括互联网、广电网、网络管理系统和云计算平台等组成,是整个物联网的中枢,负责传递和处理感知层获取的信息。应用层是物联网和用户的接口,它与行业需求结合以实现物联网的智能应用。
物联网的产业链包括传感器和芯片、设备、网络运营及服务、软件与应用开发和系统集成。物联网技术在智能电网、智慧物流、智能家居、智能交通、智慧农业、环境保护、医疗健康、城市管理(智慧城市)、金融服务与保险业、公共安全等方面有非常关键和重要的应用。
2.关键技术
物联网关键技术主要涉及传感器技术、传感网和应用系统框架等。
1)传感器技术
传感器是一种检测装置,它能"感受"到被测量的信息,并能将检测到的信息按一定规律变换成为电信号或其他所需形式的信息输出,以满足信息的传输、处理、存储、显示、记录和控制等要求。它是实现自动检测和自动控制的首要环节,也是物联网获取物理世界信息的基本手段。
射频识别技术(Radio Frequency Identification, RFID)是物联网中使用的一种传感器技术,在物联网发展中备受关注。RFID可通过无线电信号识别特定目标并读写相关数据,而无须识别系统与特定目标之间建立机械或光学接触。RFID是一种简单的无线系统,由一个询问器(或阅读器)和很多应答器(或标签)组成。标签由耦合元件及芯片组成,每个标签具有扩展词条唯一的电子编码,附着在物体上标识目标对象,它通过天线将射频信息传递给阅读器,阅读器就是读取信息的设备。RFID技术让物品能够"开口说话"。这就赋予了物联网一个特性————可跟踪性,即可以随时掌握物品的准确位置及其周边环境。
2)传感网
微机电系统(Micro-Electro-Mechanical Systems, MEMS)是由微传感器、微执行器、信号处理和控制电路、通信接口和电源等部件组成的一体化的微型器件系统。其目标是把信息的获取、处理和执行集成在一起,组成具有多功能的微型系统,集成于大尺寸系统中,从而大幅地提高系统的自动化、智能化和可靠性水平。MEMS赋予了普通物体新的"生命",它们有了属于自己的数据传输通路、存储功能、操作系统和专门的应用程序,从而形成一个庞大的传感网,使物联网能够通过物品来实现对人的监控与保护。未来,衣服可以通过传感网"告诉"洗衣机放多少水和洗衣粉最经济;文件夹会"检查"人们忘带了什么重要文件;食品蔬菜的标签会向顾客的手机介绍"自己"是否真正"绿色安全"。
3)应用系统框架
物联网应用系统框架是一种以机器终端智能交互为核心的、网络化的应用与服务。它将使对象实现智能化的控制,涉及5个重要的技术部分:机器、传感器硬件、通信网络、中间件和应用。该框架基于云计算平台和智能网络,可以依据传感器网络获取的数据进行决策,改变对象的行为控制和反馈。以智能停车场为例,当车辆驶入或离开天线通信区时,天线以微波通信的方式与电子识别卡进行双向数据交换,从电子车卡上读取车辆的相关信息,从司机卡上读取司机的相关信息,自动识别电子车卡和司机卡,并判断该车卡是否有效和司机卡的合法性,核对车道控制电脑并显示与该电子车卡和司机卡一一对应的车牌号码及驾驶员等资料信息。车道控制电脑自动将通过时间、车辆和驾驶员的有关信息存入数据库中,车道控制电脑根据读到的数据判断是正常卡、未授权卡、无卡还是非法卡,据此做出相应的回应和提示。另外,家中的老人通过佩戴嵌入智能传感器的手表,在外地的子女可以随时通过手机查询父母的血压、心跳是否稳定。智能化的住宅在主入上班时,传感器自动关闭水电气和门窗,定时向主入的手机发送消息,汇报安全情况。
3.应用和发展
物联网的应用领域涉及人们工作与生活的方方面面。在工业、农业、环境、交通、物流、安保等基础设施领域的应用,有效地推动了这些方面的智能化发展,使得有限的资源能更加合理地使用分配,从而提高了行业效率、效益;在家居、医疗健康、教育、金融与服务业、旅游业等与生活息息相关领域的应用,通过与社会科学和社会治理的充分融合创新,实现了服务范围、服务方式和服务质量等方面的巨大变革和进步。
2.2.2云计算51
云计算(Cloud Computing)是分布式计算的一种,指的是通过网络"云"将巨大的数据计算处理程序分解成无数个小程序,然后通过由多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。在云计算早期,就是简单的分布式计算,进行任务分发并对计算结果进行合并。当前的云计算已经不单单是一种分布式计算,而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗余和虚拟化等计算机技术混合演进并跃升的结果。
1.技术基础
云计算是一种基于互联网的计算方式,通过这种方式将网络上配置为共享的软件资源、计算资源、存储资源和信息资源,按需求提供给网上的终端设备和终端用户。云计算也可以理解为向用户屏蔽底层差异的分布式处理架构。在云计算环境中,用户与实际服务提供的计算资源相分离,云端集合了大量计算设备和资源。
当使用云计算服务时,用户不需要安排专门的维护人员,云计算服务的提供商会为数据和服务器的安全做出相对较高水平的保护。由于云计算将数据存储在云端(分布式的云计算设备中承担计算和存储功能的部分),业务逻辑和相关计算都在云端完成,因此,终端只需要一个能够满足基础应用的普通设备即可。
云计算实现了"快速、按需、弹性"的服务,用户可以随时通过宽带网络接入"云"并获得服务,按照实际需求获取或释放资源,根据需求对资源进行动态扩展。
按照云计算服务提供的资源层次,可以分为基础设施即服务(Infrastructure as a Service, IaaS)、平台即服务(Platform as a Service, PaaS)和软件即服务(Software as a Service, SaaS)三种服务类型。
IaaS向用户提供计算机能力、存储空间等基础设施方面的服务。这种服务模式需要较大的基础设施投入和长期运营管理经验,其单纯出租资源的盈利能力有限。
PaaS向用户提供虚拟的操作系统、数据库管理系统、Web应用等平台化的服务。PaaS服务的重点不在于直接的经济效益,而更注重构建和形成紧密的产业生态。
SaaS向用户提供应用软件(如CRM、办公软件等)、组件、工作流等虚拟化软件的服务,SaaS一般采用Web技术和SOA架构,通过Internet向用户提供多租户、可定制的应用能力,大大缩短了软件产业的渠道链条,减少了软件升级、定制和运行维护的复杂程度,并使软件提供商从软件产品的生产者转变为应用服务的运营者。
2.关键技术
云计算的关键技术主要涉及虚拟化技术、云存储技术、多租户和访问控制管理、云安全技术等。
1)虚拟化技术
虚拟化是一个广义术语,在计算机领域通常是指计算元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量,简化软件的重新配置过程。CPU的虚拟化技术可以单CPU模拟多CPU并行,允许一个平台同时运行多个操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显著提高计算机的工作效率。
虚拟化技术与多任务以及超线程技术是完全不同的。多任务是指在一个操作系统中多个程序同时并行运行,而在虚拟化技术中,则可以同时运行多个操作系统,而且每一个操作系统中都有多个程序运行,每一个操作系统都运行在一个虚拟的CPU或者虚拟主机上。超线程技术只是单CPU模拟双CPU来平衡程序运行性能,这两个模拟出来的CPU是不能分离的,只能协同工作。
容器(Container)技术是一种全新意义上的虚拟化技术,属于操作系统虚拟化的范畴,也就是由操作系统提供虚拟化的支持。目前最受欢迎的容器环境是Docker。容器技术将单个操作系统的资源划分到孤立的组中,以便更好地在孤立的组之间平衡有冲突的资源使用需求。例如:用户创建一个应用,传统方式需要虚拟机,但虚拟机本身就占用了更多的系统资源。又如,应用需要在开发和运维之间转移、协作,当开发和运维的操作环境不同时,也会影响结果。使用容器技术可将应用隔离在一个独立的运行环境中,该独立环境称之为容器,可以减少运行程序带来的额外消耗,并可以在几乎任何地方以相同的方式运行。
2)云存储技术
云存储技术是基于传统媒体系统发展而来的一种全新信息存储管理方式,该方式整合应用了计算机系统的软硬件优势,可较为快速、高效地对海量数据进行在线处理,通过多种云技术平台的应用,实现了数据的深度挖掘和安全管理。
分布式文件系统作为云存储技术中的重要组成部分,在维持兼容性的基础上,对系统复制和容错功能进行提升。同时,通过云集群管理实现云存储的可拓展性,借助模块之间的合理搭配,完成解决方案拟定解决的网络存储问题、联合存储问题、多节点存储问题、备份处理、负载均衡等。云储存的实现过程中,结合分布式的文件结构,在硬件支撑的基础上,对硬件运行环境进行优化,确保数据传输的完整性和容错性;结合成本低廉的硬件的扩展,大大降低了存储的成本。
在分布式文件系统的支撑下,实现了通过云存储资源的拓展,辅助高吞吐量数据的分析,使得用户可以更加充分、全面地进行数据管理,实现用户上传信息的优化管理,满足了不同平台信息获取需要。另一方面,通过加强对云存储技术中相关数据的安全防护,实现信息存储过程中的病毒防护和安全监控,确保信息存储应用的安全性。
3)多租户和访问控制管理
云计算环境下访问控制的研究是伴随着云计算的发展而开始的,访问控制管理是云计算应用的核心问题之一。云计算访问控制的研究主要集中在云计算访问控制模型、基于ABE密码体制的云计算访问控制、云中多租户及虚拟化访问控制研究。
云计算访问控制模型就是按照特定的访问策略来描述安全系统,建立安全模型的一种方法。用户(租户)可以通过访问控制模型得到一定的权限,进而对云中的数据进行访问,所以访问控制模型多用于静态分配用户的权限。云计算中的访问控制模型都是以传统的访问控制模型为基础,在传统的访问控制模型上进行改进,使其更适用于云计算的环境。根据访问控制模型功能的不同,研究的内容和方法也不同,常见的有基于任务的访问控制模型、基于属性模型的云计算访问控制、基于UCON模型的云计算访问控制、基于BLP模型的云计算访问控制等。
基于ABE密码机制的云计算访问控制包括4个参与方:数据提供者、可信第三方授权中心、云存储服务器和用户。首先,可信授权中心生成主密钥和公开参数,将系统公钥传给数据提供者,数据提供者收到系统公钥之后,用策略树和系统公钥对文件加密,将密文和策略树上传到云服务器;然后,当一个新用户加入系统后,将自己的属性集上传给可信授权中心并提交私钥申请请求,可信授权中心针对用户提交的属性集和主密钥计算生成私钥,传给用户;最后,用户下载感兴趣的数据。如果其属性集合满足密文数据的策略树结构,则可以解密密文;否则,访问数据失败。
云中多租户及虚拟化访问控制是云计算的典型特征。由于租户间共享物理资源,并且其可信度不容易得到,所以租户之间就可以通过侧通道攻击来从底层的物理资源中获得有用的信息。此外,由于在虚拟机上要部署访问控制策略可能会带来多个租户访问资源的冲突,导致物理主机上出现没有认证的或者权限分配错误的信息流。这就要求在云环境下,租户之间的通信应该由访问控制来保证,并且每个租户都有自己的访问控制策略,使得整个云平台的访问控制变得复杂。目前,对多租户访问控制的研究主要集中在对多租户的隔离和虚拟机的访问控制方面。
4)云安全技术
云安全研究主要包含两个方面的内容,一是云计算技术本身的安全保护工作,涉及相应的数据完整性及可用性、隐私保护性以及服务可用性等方面的内容;二是借助于云服务的方式来保障客户端用户的安全防护需求,通过云计算技术来实现互联网安全,涉及基于云计算的病毒防治、木马检测技术等。
在云安全技术的研究方面,主要包含:
● 云计算安全性:主要是对于云自身以及所涉及的应用服务内容进行分析,重点探讨其相应的安全性问题,这里主要涉及如何有效实现安全隔离,保障互联网用户数据的安全性,如何有效防护恶意网络攻击,提升云计算平台的系统安全性,以及用户接入认证以及相应的信息传输审计、安全等方面的工作。
● 保障云基础设施的安全性:主要就是如何利用相应的互联网安全基础设备的相应资源,有效实现云服务的优化,从而保障满足预期的安全防护的要求。
● 云安全技术服务:重点集中于如何保障实现互联网终端用户的安全服务要求,能有效实现客户端的计算机病毒防治等相关服务工作。从云安全架构的发展情况来看,如果云计算服务商的安全等级不高,会造成服务用户需要具备更强的安全能力、承担更多管理职责。
为了提升云安全体系的能力,保障其具有较强的可靠性,云安全技术要从开放性、安全保障、体系结构的角度考虑。
⓵云安全系统具有一定的开放性,要保障开放环境下可信认证;
⓶在云安全系统方面,要积极采用先进的网络技术和病毒防护技术;
⓷在云安全体系构建过程中,要保证其稳定性,以满足海量数据动态变化的需求。
综上所述,云安全技术是新一代互联网中安全技术构架的核心内容,体现了当前快速发展的云计算的先进性,是未来的信息安全技术发展的必然趋势。随着云计算应用领域的拓展,云安全技术也必然会越来越成熟,能有效全方位保障广大互联网用户的数据应用安全性,对于云计算的进一步推广与应用具有至关重要的作用。
3.应用和发展
云计算经历十余年的发展,已逐步进入成熟期,在众多领域正发挥着越来越大的作用,"上云"将成为各类组织加快数字化转型、鼓励技术创新和促进业务增长的第一选择,甚至是必备的前提条件。
云计算将进一步成为创新技术和最佳工程实践的重要载体和试验场。从AI与机器学习、 IoT与边缘计算、区块链到工程实践领域的DevOps、云原生和Service Mesh,都有云计算厂商积极参与、投入和推广的身影。以人工智能为例,从前面提到的IaaS中GPU计算资源的提供,到面向特定领域成熟模型能力开放(如各类自然语言处理、图像识别、语言合成的API),再到帮助打造定制化AI模型的机器学习平台,云计算实际上已成为AI相关技术的基础。
云计算将顺应产业互联网大潮,下沉行业场景,向垂直化、产业化纵深发展。随着通用类架构与功能的不断完善和对行业客户的不断深耕,云计算自然渗透进入更多垂直领域,成为提供更贴近行业业务与典型场景的基础能力。以金融云为例,云计算可针对金融保险机构特殊的合规和安全需要,提供物理隔离的基础设施,还可提供支付、结算、风控、审计等业务组件。多云和混合云将成为大中型组织的刚需,得到更多重视与发展。当组织大量的工作负载部署在云端,新的问题则会显现:
⓵虽然云端已经能提供相当高的可用性,但为了避免单一供应商出现故障时的风险,关键应用仍须架设必要的技术冗余;
⓶当业务规模较大时,从商业策略角度看,也需要避免过于紧密的厂商绑定,以寻求某种层面的商业制衡和主动权。
云的生态建设重要性不断凸显,成为影响云间竞争的关键因素。当某个云发展到一定规模和阶段,就不能仅仅考虑技术和产品,需要站在长远发展的角度,建立和培养具有生命力的繁荣生态和社区。另外,云生态需要关注面向广大开发者、架构师和运维工程师的持续输出、培养和影响。只有赢得广大技术人员的关注和喜爱,才能赢得未来的云计算市场。
综上所述,"创新、垂直、混合、生态"这四大趋势伴随云计算快速发展。云计算对IT硬件资源与软件组件进行了标准化、抽象化和规模化,某种意义上颠覆和重构了IT业界的供应链,是当前新一代信息技术发展的巨大的革新与进步。
2.2.3大数据55
大数据(Big Data)指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
1.技术基础
大数据是具有体量大、结构多样、时效性强等特征的数据,处理大数据需要采用新型计算架构和智能算法等新技术。大数据从数据源到最终价值实现一般需要经过数据准备、数据存储与管理、数据分析和计算、数据治理和知识展现等过程,涉及数据模型、处理模型、计算理论以及与其相关的分布计算、分布存储平台技术、数据清洗和挖掘技术、流式计算和增量处理技术、数据质量控制等方面的研究。一般来说,大数据主要特征包括:
● 数据海量:大数据的数据体量巨大,从TB级别跃升到PB级别(1PB=l024TB)、EB级别(1EB=1024PB),甚至达到ZB级别(1ZB=1024EB)。
● 数据类型多样:大数据的数据类型繁多,一般分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。
● 数据价值密度低:数据价值密度的高低与数据总量的大小成反比。以视频为例,一部l小时的视频,在连续不间断的监控中,有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值"提纯",成为目前大数据背景下亟待解决的难题。
● 数据处理速度快:为了从海量的数据中快速挖掘数据价值,一般要求要对不同类型的数据进行快速的处理,这是大数据区分于传统数据挖掘的最显著特征。
2.关键技术
大数据技术作为信息化时代的一项新兴技术,技术体系处在快速发展阶段,涉及数据的处理、管理、应用等多个方面。具体来说,技术架构是从技术视角研究和分析大数据的获取、管理、分布式处理和应用等。大数据的技术架构与具体实现的技术平台和框架息息相关,不同的技术平台决定了不同的技术架构和实现。从总体上说,大数据技术架构主要包含大数据获取技术、分布式数据处理技术和大数据管理技术,以及大数据应用和服务技术。
1)大数据获取技术
目前,大数据获取的研究主要集中在数据采集、整合和清洗三个方面。数据采集技术实现数据源的获取,然后通过整合和清理技术保证数据质量。
数据采集技术主要是通过分布式爬取、分布式高速高可靠性数据采集、高速全网数据映像技术,从网站上获取数据信息。除了网络中包含的内容之外,对于网络流量的采集可以使用DPI或DFI等带宽管理技术进行处理。
数据整合技术是在数据采集和实体识别的基础上,实现数据到信息的高质量整合。数据整合技术包括多源多模态信息集成模型、异构数据智能转换模型、异构数据集成的智能模式抽取和模式匹配算法、自动容错映射和转换模型及算法、整合信息的正确性验证方法、整合信息的可用性评估方法等。
数据清洗技术一般根据正确性条件和数据约束规则,清除不合理和错误的数据,对重要的信息进行修复,保证数据的完整性。包括数据正确性语义模型、关联模型和数据约束规则、数据错误模型和错误识别学习框架、针对不同错误类型的自动检测和修复算法、错误检测与修复结果的评估模型和评估方法等。
2)分布式数据处理技术
分布式计算是随着分布式系统的发展而兴起的,其核心是将任务分解成许多小的部分,分配给多台计算机进行处理,通过并行工作的机制,达到节约整体计算时间,提高计算效率的目的。目前,主流的分布式计算系统有Hadoop、Spark和Storm。Hadoop常用于离线的复杂的大数据处理,Spark常用于离线的快速的大数据处理,而Storm常用于在线的实时的大数据处理。
大数据分析与挖掘技术主要指改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;创新基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
3)大数据管理技术
大数据管理技术主要集中在大数据存储、大数据协同和安全隐私等方面。
大数据存储技术主要有三个方面。
⓵采用MPP架构的新型数据库集群,通过列存储、粗粒度索引等多项大数据处理技术和高效的分布式计算模式,实现大数据存储;
⓶围绕Hadoop衍生出相关的大数据技术,应对传统关系型数据库较难处理的数据和场景,通过扩展和封装Hadoop来实现对大数据存储、分析的支撑;
⓷基于集成的服务器、存储设备、操作系统、数据库管理系统,实现具有良好的稳定性、扩展性的大数据一体机。
多数据中心的协同管理技术是大数据研究的另一个重要方向。通过分布式工作流引擎实现工作流调度、负载均衡,整合多个数据中心的存储和计算资源,从而为构建大数据服务平台提供支撑。
大数据隐私性技术的研究,主要集中于新型数据发布技术,尝试在尽可能少损失数据信息的同时最大化地隐藏用户隐私。在数据信息量和隐私之间是有矛盾的,目前没有非常好的解决办法。
4)大数据应用和服务技术
大数据应用和服务技术主要包含分析应用技术和可视化技术。
大数据分析应用主要是面向业务的分析应用。在分布式海量数据分析和挖掘的基础上,大数据分析应用技术以业务需求为驱动,面向不同类型的业务需求开展专题数据分析,为用户提供高可用、高易用的数据分析服务。
可视化通过交互式视觉表现的方式来帮助人们探索和理解复杂的数据。大数据的可视化技术主要集中在文本可视化技术、网络(图)可视化技术、时空数据可视化技术、多维数据可视化和交互可视化等。在技术方面,主要关注原位交互分析(In Situ Interactive Analysis)、数据表示、不确定性量化和面向领域的可视化工具库。
3.应用和发展
大数据像水、矿石、石油一样,正在成为新的资源和社会生产要素,从数据资源中挖掘潜在的价值,成为当前大数据时代研究的热点。如何快速对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态,是其应用价值的重要体现。
(1)在互联网行业,网络的广泛应用和社交网络已深入到社会工作、生活的方方面面,海量数据的产生、应用和服务一体化。每个人都是数据的生产者、使用者和受益者。从大量的数据中挖掘用户行为,反向传输到业务领域,支待更准确的社会营销和广告,可增加业务收入,促进业务发展。同时,随着数据的大量生成、分析和应用,数据本身已成为可以交易的资产,大数据交易和数据资产化成为当前具有价值的领域和方向。
(2)在政府的公共数据领域,结合大数据的采集、治理和集成,将各个部门搜集的信息进行剖析和共享,能够发现管理上的纸漏,提高执法水平,增进财税增收和加大市场监管程度,大大改变政府管理模式、节省政府投资、增强市场管理,提高社会治理水平、城市管理能力和人民群众的服务能力。
(3)在金融领域,大数据征信是重要的应用领域。通过大数据的分析和画像,能够实现个人信用和金融服务的结合,从而服务于金融领域的信任管理、风控管理、借贷服务等,为金融业务提供有效支撑。
(4)在工业领域,结合海量的数据分析,能够为工业生产过程提供准确的指导,如在航运大数据领域,能够使用大数据对将来航路的国际贸易货量进行预测分析,预知各个口岸的热度;能够利用天气数据对航路的影响进行分析,提供相关业务的预警、航线的调整和资源的优化调配方案,避免不必要的亏损。
(5)在社会民生领域,大数据的分析应用能够更好地为民生服务。以疾病预测为例,基于大数据的积累和智能分析,能够透视人们搜索"流感、肝炎、肺结核和未病"的发病时间和地点分布,结合气温变化、环境指数、人口流动等因素建立预测模型,能够为公共卫生治理人员提供多种传染病的趋势预测,帮助其提早进行预防部署。
2.2.4区块链57
"区块链"概念于2008年在《比特币:一种点对点电子现金系统》中被首次提出,并在比特币系统的数据加密货币体系中成功应用,已成为政府、组织和学者等重点关注和研究的热点。区块链技术具有多中心化存储、隐私保护、防篡改等特点,提供了开放、分散和容错的事务机制,成为新一代匿名在线支付、汇款和数字资产交易的核心,被广泛应用于各大交易平台,为金融、监管机构、科技创新、农业以及政治等领域带来了深刻的变革。
1.技术基础
区块链概念可以理解为以非对称加密算法为基础,以改进的默克尔树(Merkle Tree)为数据结构,使用共识机制、点对点网络、智能合约等技术结合而成的一种分布式存储数据库技术。区块链分为公有链(Public Blockchain)、联盟链(Consortium Blockchain)、私有链(Private Blockchain)和混合链(Hybrid Blcokchain)四大类。一般来说,区块链的典型特征包括:
● 多中心化:链上数据的验证、核算、存储、维护和传输等过程均依赖分布式系统结构,运用纯数学方法代替中心化组织机构在多个分布式节点之间构建信任关系,从而建立可信的分布式系统。
● 多方维护:激励机制可确保分布式系统中的所有节点均可参与数据区块的验证过程,并通过共识机制选择特定节点将新产生的区块加入到区块链中。
● 时序数据:区块链运用带有时间戳信息的链式结构来存储数据信息,为数据信息添加时间维度的属性,从而可实现数据信息的可追溯性。
● 智能合约:区块链技术能够为用户提供灵活可变的脚本代码,以支持其创建新型的智能合约。
● 不可篡改:在区块链系统中,因为相邻区块间后序区块可对前序区块进行验证,若篡改某一区块的数据信息,则需递归修改该区块及其所有后序区块的数据信息,然而每一次哈希的重新计算代价是巨大的,且须在有限时间内完成,因此可保障链上数据的不可篡改性。
● 开放共识:在区块链网络中,每台物理设备均可作为该网络中的一个节点,任意节点可自由加入且拥有一份完整的数据库拷贝。
● 安全可信:数据安全可通过基于非对称加密技术对链上数据进行加密来实现,分布式系统中各节点通过区块链共识算法所形成的算力来抵御外部攻击、保证链上数据不被篡改和伪造,从而具有较高的保密性、可信性和安全性。
2.关键技术
从区块链的技术体系视角看,区块链基于底层的数据基础处理、管理和存储技术,以区块数据的管理、链式结构的数据、数字签名、哈希函数、默克尔树、非对称加密等,通过基于P2P网络的对称式网络,组织节点参与数据的传播和验证,每个节点均会承担网络路由、验证区块数据、传播区块数据、记录交易数据、发现新节点等功能,包含传播机制和验证机制。为保障区块链应用层的安全,通过激励层的发行机制和分配机制,在整个分布式网络的节点以最高效率的方式达成共识。
l)分布式账本
分布式账本是区块链技术的核心之一。分布式账本的核心思想是:交易记账由分布在不同地方的多个节点共同完成,而且每一个节点保存一个唯一、真实账本的副本,它们可以参与监督交易合法性,同时也可以共同为其作证;账本里的任何改动都会在所有的副本中被反映出来,反应时间会在几分钟甚至是几秒内,记账节点足够多,理论上除非所有的节点被破坏,所有整个分布式账本系统是非常稳健的,从而保证了账目数据的安全性。
分布式账本中存储的资产是指法律认可的合法资产,如金融、实体、电子的资产等任何形式的有价资产。为了确保资产的安全性和准确性,分布式账本一方面通过公私钥以及签名控制账本的访问权;另一方面根据共识的规则,账本中的信息更新可以由一个、一部分人或者是所有参与者共同完成。
分布式账本技术能够保障资产的安全性和准确性,具有广泛的应用场景,特别在公共服务领域,能够重新定义政府与公民在数据分享、透明度和信任意义上的关系,目前已经广泛应用到金融交易、政府征税、土地所有权登记、护照管理、社会福利等领域。
2)加密算法
区块数据的加密是区块链研究和关注的重点,其主要作用是保证区块数据在网络传输、存储和修改过程中的安全。区块链系统中的加密算法一般分为散列(哈希)算法和非对称加密算法。
散列算法也叫数据摘要或者哈希算法,其原理是将一段信息转换成一个固定长度并具备以下特点的字符串:如果某两段信息是相同的,那么字符也是相同的;即使两段信息十分相似,但只要是不同的,那么字符串将会十分杂乱、随机并且两个字符串之间完全没有关联。
本质上,散列算法的目的不是为了"加密"而是为了抽取"数据特征",也可以把给定数据的散列值理解为该数据的"指纹信息"。典型的散列算法有MD5、SHA-1/SHA-2和SM3,目前区块链主要使用SHA-2中的SHA256算法。
非对称加密算法由对应的一对唯一性密钥(即公开密钥和私有密钥)组成的加密方法。任何获悉用户公钥的人都可用用户的公钥对信息进行加密与用户实现安全信息交互。由于公钥与私钥之间存在的依存关系,只有用户本身才能解密该信息,任何未受授权用户甚至信息的发送者都无法将此信息解密。常用的非对称加密算法包括RSA、Elgamal、D-H、ECC(椭圆曲线加密算法)等。
3)共识机制
在区块链的典型应用一数字货币中,面临着一系列安全和管理问题,例如:如何防止诈骗?区块数据传输到各个分布式节点的先后次序如何控制?如何应对传输过程中数据的丢失问题?节点如何处理错误或伪造的信息?如何保障节点之间信息更新和同步的一致性?这些问题就是所谓的区块链共识问题。
区块链共识问题需要通过区块链的共识机制来解决。在互联网世界,共识主要是计算机和软件程序协作一致的基本保障,是分布式系统节点或程序运行的基本依据。共识算法能保证分布式的计算机或软件程序协作一致,对系统的输入输出做出正确的响应。
区块链的共识机制的思想是:在没有中心点总体协调的情况下,当某个记账节点提议区块数据增加或减少,并把该提议广播给所有的参与节点,所有节点要根据一定的规则和机制,对这一提议是否能够达成一致进行计算和处理。
目前,常用的共识机制主要有PoW、PoS、DPoS、Paxos、PBFT等。根据区块链不同应用场景中各种共识机制的特性,共识机制分析可基于:
● 合规监管:是否支持超级权限节点对全网节点、数据进行监管。
● 性能效率:交易达成共识被确认的效率。
● 资源消耗:共识过程中耗费的CPU、网络输入输出、存储等资源。
● 容错性:防攻击、防欺诈的能力。
3.应用和发展
当前,TCP/IP协议是全球互联网的"牵手协议"。将"多中心化、分布式"理念变成了一种可执行的程序,并在此基础上派生出了更多的类似协议。然而,回顾互联网技术的发展,当前的互联网技术成功实现了信息的多中心化,但却无法实现价值的多中心化。换句话说,互联网上能多中心化的活动是无需信用背书的活动,需要信用做保证的都是中心化的、有第三方中介机构参与的活动。因此,无法建立全球信用的互联网技术就在发展中遇到了障碍————人们无法在互联网上通过多中心化方式参与价值交换活动。
从区块链技术研究角度看:
⓵在共识机制方面,如何解决公有链、私有链、联盟链的权限控制、共识效率、约束、容错率等方面的问题,寻求针对典型场景的、具有普适性的、更优的共识算法及决策将是研究的重点;
⓶在安全算法方面,目前采用的算法大多数是传统的安全类算法,存在潜在的"后门"风险,算法的强度也需要不断升级;另外,管理安全、隐私保护、监管缺乏以及新技术(如量子计算)所带来的安全问题需要认真对待;
⓷在区块链治理领域,如何结合现有信息技术治理体系的研究,从区块链的战略、组织、架构以及区块链应用体系的各个方面,研究区块链实施过程中的环境与文化、技术与工具、流程与活动等问题,进而实现区块链的价值,开展相关区块链的审计,是区块链治理领域需要核心关注的问题;
⓸在技术日益成熟的情况下,研究区块链的标准化,也是需要重要考虑的内容。
(1)区块链将成为互联网的基础协议之一。本质上,互联网同区块链一样,也是个多中心化的网络,并没有一个"互联网的中心"存在。不同的是,互联网是一个高效的信息传输网络,并不关心信息的所有权,没有内生的、对有价值信息的保护机制;区块链作为一种可以传输所有权的协议,将会基于现有的互联网协议架构,构建出新的基础协议层。从这个角度看,区块链(协议)会和传输控制协议/因特网互联协议(TCP/IP)一样,成为未来互联网的基础协议,构建出一个高效的、多中心化的价值存储和转移网络。
(2)区块链架构的不同分层将承载不同的功能。类似TCP/IP协议栈的分层结构,人们在统一的传输层协议之上,发展出了各种各样的应用层协议,最终构建出了今天丰富多彩的互联网。未来区块链结构也将在一个统一的、多中心化的底层协议基础上,发展出各种各样应用层协议。
(3)区块链的应用和发展呈螺旋式上升趋势。如同互联网的发展一样,在发展过程中会经历过热甚至泡沫阶段,并以颠覆式的技术改变融合传统产业。区块链作为数字化浪潮中下一个阶段的核心技术,其发展周期将比预想得要长,影响的范围和深度也会远远超出人们的想象,将会构建出多样化生态的价值互联网,从而深刻改变未来商业社会的结构和每个人的生活。
2.2.5人工智能60
人工智能是指研究和开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的一门技术科学。这一概念自1956年被提出后,已历经半个多世纪的发展和演变。21世纪初,随着大数据、高性能计算和深度学习技术的快速迭代和进步,人工智能进入新一轮的发展热潮,其强大的赋能性对经济发展、社会进步、国际政治经济格局等产生了重大且深远的影响,已成为新一轮科技革命和产业变革的重要驱动力量。
1.技术基础
人工智能从产生到现在,其发展历程经历了6个主要阶段:起步发展期(1956年至20世纪60年代初)、反思发展期(20世纪60年代至20世纪70年代初)、应用发展期(20世纪70年代初至20世纪80年代中)、低迷发展期(20世纪80年代中至20世纪90年代中)、稳步发展期(20世纪90年代中至2010年)、蓬勃发展期(2011年至今)。
从当前的人工智能技术进行分析可知,其在技术研究方面主要聚焦在热点技术、共性技术和新兴技术三个方面。其中以机器学习为代表的基础算法的优化改进和实践,以及机器学习、强化学习、多核学习和多视图学习等新型学习方法是研究探索的热点;自然语言处理相关的特征提取、语义分类、词嵌入等基础技术和模型研究,以及智能自动问答、机器翻译等应用研究也取得诸多的成果;以知识图谱、专家系统为逻辑的系统化分析也在不断地取得突破,大大拓展了人工智能的应用场景,对人工智能未来的发展具有重要的潜在影响。
2.关键技术
人工智能的关键技术主要涉及机器学习、自然语言处理、专家系统等技术,随着人工智能应用的深入,越来越多新兴的技术也在快速发展中。
1)机器学习
机器学习是一种自动将模型与数据匹配,并通过训练模型对数据进行"学习"的技术。机器学习的研究主要聚焦在机器学习算法及应用、强化学习算法、近似及优化算法和规划问题等方面,其中常见的学习算法主要包含回归、聚类、分类、近似、估计和优化等基础算法的改进研究,迁移学习、多核学习和多视图学习等强化学习方法是当前的研究热点。
神经网络是机器学习的一种形式,该技术出现在20世纪60年代,并用于分类型应用程序。它根据输入、输出、变量权重或将输入与输出关联的"特征"来分析问题。它类似于神经元处理信号的方式。深度学习是通过多等级的特征和变量来预测结果的神经网络模型,得益于当前计算机架构更快的处理速度,这类模型有能力应对成千上万个特征。与早期的统计分析形式不同,深度学习模型中的每个特征通常对于人类观察者而言意义不大,使得该模型的使用难度很大且难以解释。深度学习模型使用一种称为反向传播的技术,通过模型进行预测或对输出进行分类。强化学习是机器学习的另外一种方式,指机器学习系统制订了目标而且迈向目标的每一步都会得到某种形式的奖励。
机器学习模型是以统计为基础的,而且应该将其与常规分析进行对比以明确其价值增量。它们往往比基于人类假设和回归分析的传统"手工"分析模型更准确,但也更复杂和难以解释。相比于传统的统计分析,自动化机器学习模型更容易创建,而且能够揭示更多的数据细节。
2)自然语言处理
自然语言处理(Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系,但又有重要的区别。自然语言处理并不是一般地研究自然语言,而在于研制能有效地使用自然语言通信的计算机系统,特别是其中的软件系统。因而它是计算机科学的一部分。
自然语言处理主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文OCR等方面。
自然语言处理(即实现人机间自然语言通信,或实现自然语言理解和自然语言生成)是十分困难的,困难的根本原因是自然语言文本和对话的各个层次上广泛存在着各种各样的歧义性或多义性。自然语言处理解决的核心问题是信息抽取、自动文摘/分词、识别转化等,用于解决内容的有效界定、消歧和模糊性、有瑕疵的或不规范的输入、语言行为理解和交互。当前,深度学习技术是自然语言处理的重要技术支撑,在自然语言处理中需应用深度学习模型,如卷积神经网络、循环神经网络等,通过对生成的词向量进行学习,以完成自然语言分类、理解的过程。
3)专家系统
专家系统是一个智能计算机程序系统,通常由人机交互界面、知识库、推理机、解释器、综合数据库、知识获取等6个部分构成,其内部含有大量的某个领域专家水平的知识与经验,它能够应用人工智能技术和计算机技术,根据系统中的知识与经验,进行推理和判断,模拟人类专家的决策过程,以便解决那些需要人类专家处理的复杂问题。简而言之,专家系统是一种模拟人类专家解决领域问题的计算机程序系统。
在人工智能的发展过程中,专家系统的发展已经历了三个阶段,正向第四代过渡和发展。第一代专家系统以高度专业化、求解专门问题的能力强为特点。但在体系结构的完整性、可移植性、系统的透明性和灵活性等方面存在缺陷,求解问题的能力弱。第二代专家系统属于单学科专业型、应用型系统,其体系结构较完整,移植性方面也有所改善,而且在系统的人机接口、解释机制、知识获取技术、不确定推理技术、增强专家系统的知识表示和推理方法的启发性、通用性等方面都有所改进。第三代专家系统属多学科综合型系统,采用多种人工智能语言,综合采用各种知识表示方法和多种推理机制及控制策略,并运用各种知识工程语言、骨架系统及专家系统开发工具和环境来研制大型综合专家系统。
当前人工智能的专家系统研究已经进入到第四个阶段,主要研究大型多专家协作系统、多种知识表示、综合知识库、自组织解题机制、多学科协同解题与并行推理、专家系统工具与环境、人工神经网络知识获取及学习机制等。
3.应用和发展
经过60多年的发展,人工智能在算法、算力(计算能力)和算料(数据)等方面取得了重要突破,正处于从"不能用"到"可以用"的技术拐点,但是距离"很好用"还存在诸多瓶颈。实现从专用人工智能向通用人工智能的跨越式发展,既是下一代人工智能发展的必然趋势,也是研究与应用领域的重大挑战,是未来应用和发展的趋势。
(1)从人工智能向人机混合智能发展。借鉴脑科学和认知科学的研究成果是人工智能的一个重要研究方向。人机混合智能旨在将人的作用或认知模型引入到人工智能系统中,提升人工智能系统的性能,使人工智能成为人类智能的自然延伸和拓展,通过人机协同更加高效地解决复杂问题。
(2)从"人工+智能"向自主智能系统发展。当前人工智能领域的大量研究集中在深度学习,但是深度学习的局限是需要大量人工干预,比如人工设计深度神经网络模型、人工设定应用场景、人工采集和标注大量训练数据、用户需要人工适配智能系统等,非常费时费力。因此,科研人员开始关注减少人工干预的自主智能方法,提高机器智能对环境的自主学习能力。
(3)人工智能将加速与其他学科领域交叉渗透。人工智能本身是一门综合性的前沿学科和高度交叉的复合型学科,研究范畴广泛而又异常复杂,其发展需要与计算机科学、数学、认知科学、神经科学和社会科学等学科深度融合。借助于生物学、脑科学、生命科学和心理学等学科的突破,将机理变为可计算的模型,人工智能将与更多学科深入地交叉渗透。
(4)人工智能产业将蓬勃发展。随着人工智能技术的进一步成熟以及政府和产业界投入的日益增长,人工智能应用的云端化将不断加速,全球人工智能产业规模在未来10年将进入高速增长期。"人工智能+X"的创新模式将随着技术和产业的发展日趋成熟,对生产力和产业结构产生革命性影响,并推动人类进入普惠型智能社会。
(5)人工智能的社会学将提上议程。为了确保人工智能的健康可持续发展,使其发展成果造福于民,需要从社会学的角度系统全面地研究人工智能对人类社会的影响,制定完善人工智能法律法规,规避可能的风险,旨在"以有利于整个人类的方式促进和发展友好的人工智能"。
2.2.6虚拟现实63
自从计算机创造以来,计算机一直是传统信息处理环境的主体,这与人类认识空间及计算机处理问题的信息空间存在不一致的矛盾,如何把人类的感知能力和认知经历及计算机信息处理环境直接联系起来,是虚拟现实产生的重大背景。如何建立一个能包容图像、声音、化学气味等多种信息源的信息空间,将其与视觉、听觉、嗅觉、口令、手势等人类的生活空间交叉融合,虚拟现实的技术应运而生。
1.技术基础
虚拟现实(Virtual Reality, VR)是一种可以创立和体验虚拟世界的计算机系统(其中虚拟世界是全体虚拟环境的总称)。通过虚拟现实系统所建立的信息空间,已不再是单纯的数字信息空间,而是一个包容多种信息的多维化的信息空间(Cyberspace),人类的感性认识和理性认识能力都能在这个多维化的信息空间中得到充分的发挥。要创立一个能让参与者具有身临其境感,具有完善交互作用能力的虚拟现实系统,在硬件方面,需要高性能的计算机软硬件和各类先进的传感器;在软件方面,主要是需要提供一个能产生虚拟环境的工具集。
虚拟现实技术的主要特征包括沉浸性、交互性、多感知性、构想性(也称想象性)和自主性。随着虚拟现实技术的快速发展,按照其"沉浸性"程度的高低和交互程度的不同,虚拟现实技术已经从桌面虚拟现实系统、沉浸式虚拟现实系统、分布式虚拟现实系统等,向着增强式虚拟现实系统(Augmented Reality, AR)和元宇宙的方向发展。
2.关键技术
虚拟现实的关键技术主要涉及人机交互技术、传感器技术、动态环境建模技术和系统集成技术等。
1)人机交互技术
虚拟现实中的人机交互技术与传统的只有键盘和鼠标的交互模式不同,是一种新型的利用VR眼镜、控制手柄等传感器设备,能让用户真实感受到周围事物存在的一种三维交互技术,将三维交互技术与语音识别、语音输入技术及其他用于监测用户行为动作的设备相结合,形成了目前主流的人机交互手段。
2)传感器技术
VR技术的进步受制于传感器技术的发展,现有的VR设备存在的缺点与传感器的灵敏程度有很大的关系。例如VR头显(即VR眼镜)设备过重、分辨率低、刷新频率慢等,容易造成视觉疲劳;数据手套等设备也都有延迟长、使用灵敏度不够的缺陷,所以传感器技术是VR技术更好地实现人机交互的关键。
3)动态环境建模技术
虚拟环境的设计是VR技术的重要内容,该技术是利用三维数据建立虚拟环境模型。目前常用的虚拟环境建模工具为计算机辅助设计(Computer Aided Design, CAD),操作者可以通过CAD技术获取所需数据,并通过得到的数据建立满足实际需要的虚拟环境模型。除了通过CAD技术获取三维数据,多数情况下还可以利用视觉建模技术,两者相结合可以更有效地获取数据。
4)系统集成技术
VR系统中的集成技术包括信息同步、数据转换、模型标定、识别和合成等技术,由于VR系统中储存着许多的语音输入信息、感知信息以及数据模型,因此VR系统中的集成技术显得越发重要。
3.应用和发展
(1)硬件性能优化迭代加快。轻薄化、超清化加速了虚拟现实终端市场的迅速扩大,开启了虚拟现实产业爆发增长的新空间,虚拟现实设备的显示分辨率、帧率、自由度、延时、交互性能、重量、眩量感等性能指标日趋优化,用户体验感不断提升。
(2)网络技术的发展有效助力其应用化的程度。泛在网络通信和高速的网络速度,有效提升了虚拟现实技术在应用端的体验。借助于终端轻型化和移动化5G技术,高峰值速率、毫秒级的传输时延和千亿级的连接能力,降低了对虚拟现实终端侧的要求。
(3)虚拟现实产业要素加速融通。技术、人才多维并举,虚拟现实产业核心技术不断取得突破,已形成较为完整的虚拟现实产业链条。虚拟现实产业呈现出从创新应用到常态应用的产业趋势,在舞台艺术、体育智慧观赛、新文化弘扬、教育、医疗等领域普遍应用。"虚拟现实+商贸会展"成为后疫情时代的未来新常态,"虚拟现实+工业生产"是组织数字化转型的新动能,"虚拟现实+智慧生活"大大提升了未来智能化的生活体验,"虚拟现实+文娱休闲"成为新型信息消费模式的新载体等。
(4)元宇宙等新兴概念为虚拟现实技术带来了"沉浸和叠加"“激进和渐进”"开放和封闭"等新的商业理念,大大提升了其应用价值和社会价值,将逐渐改变人们所习惯的现实世界物理规则,以全新方式激发产业技术创新,以新模式、新业态等方式带动相关产业跃迁升级。
2.3本章练习65
1.选择题
(1)关于信息技术的描述,不正确的是____。
A.信息技术是研究如何获取信息、处理信息、传输信息和使用信息的技术
B.信息技术是信息系统的前提和基础,信息系统是信息技术的应用和体现
C.信息、信息化以及信息系统都是信息技术发展不可或缺的部分
D.信息技术是在信息科学的基本原理和方法下的关于一切信息的产生、信息的传输、信息的转化应用技术的总称
(2)____关键技术主要涉及传感器技术、传感网和应用系统架构等。A
A.物联网 B.云计算 c.大数据 D.人工智能
(3)____关键技术主要涉及机器学习、自然语言处理、专家系统等技术。D
A.物联网 B.云计算 c.大数据 D.人工智能
(4)关于云计算的描述,不正确的是____。C
A.云计算可以通过宽带网络连接,用户需要通过宽带网络接入"云"中并获得有关的服务,"云"内节点之间也通过内部的高速网络相连
B.云计算可以快速、按需、弹性服务,用户可以按照实际需求迅速获取或释放资源,并可以根据需求对资源进行动态扩展
C.按照云计算服务提供的资源层次,可以分为基础设施即服务和平台即服务两种服务类型
D.云计算是一种基于并高度依赖Internet,用户与实际服务提供的计算资源相分离,集合了大量计算设备和资源,并向用户屏蔽底层差异的分布式处理架构
(5)区块链有以下几种特性:多中心化、多方维护、时序数据、智能合约、开放共识、安全可信和____。B
A.可回溯性 B.不可篡改 C.周期性 D.稳定性
(6)虚拟现实技术的主要特征包括:沉浸性、交互性、多感知性、构想性和____。A
A.自主性 B.抗否认性 C.可审计性 D.可靠性
2.思考题
(1)请概述云计算的主要服务模式有哪些。参考答案:略
chatGPT
云计算的主要服务模式包括以下几种:
-
基础设施即服务(Infrastructure as a Service,IaaS):提供基础的计算资源,如虚拟机、存储空间和网络等,用户可以根据需求自由配置和管理这些资源。用户对操作系统、应用程序和数据等有较高的控制权,需要自行管理和维护软件层面的内容。
-
平台即服务(Platform as a Service,PaaS):除了基础设施,还提供了应用程序开发和部署所需的平台环境。用户可以基于提供的平台进行开发、测试和部署应用程序,而无需关注底层的基础设施。PaaS提供了更高级别的抽象,加快了应用程序开发和部署的速度。
-
软件即服务(Software as a Service,SaaS):提供完整的应用程序作为服务,用户通过互联网进行访问和使用。这种模式下,用户不需要关心应用程序的底层基础设施、平台或者维护工作,只需使用提供的软件即可。常见的SaaS应用包括电子邮件服务、在线办公套件和客户关系管理工具等。
除了这些主要的服务模式,还有一些与云计算相关的服务模式,例如:
- 容器即服务(Container as a Service,CaaS):提供容器化应用程序的运行环境,简化了应用程序的部署和管理。
- 功能即服务(Function as a Service,FaaS):以事件驱动的方式执行特定功能的代码,开发人员只需关注业务逻辑,无需管理底层基础设施。
- 数据库即服务(Database as a Service,DBaaS):提供数据库服务,包括数据存储、备份和恢复等功能,减轻了用户的数据库管理负担。
这些服务模式提供了不同层次的抽象和管理程度,使用户可以根据需求选择适合的模式来满足其业务需求。
(2)请简述大数据的技术架构是什么。参考答案:略
chatGPT
大数据技术架构通常包含以下几个核心组件和层级:
-
数据源层:数据源层是大数据技术架构的基础,用于采集和收集各种数据。数据可以来自各种来源,例如传感器、日志文件、数据库、社交媒体等。在数据源层,数据被收集、提取和传输到后续处理的阶段。
-
数据存储层:数据存储层用于持久化和存储大规模的数据。它可以包括传统的关系型数据库、分布式文件系统(如Hadoop的HDFS)、NoSQL数据库、列式数据库等。这些存储系统提供高可靠性、可扩展性和容错性,以应对大量数据的存储需求。
-
数据处理层:数据处理层用于对大规模数据进行处理和分析。这个层级包含了各种数据处理技术和工具,例如批处理、实时流处理、图计算、机器学习等。常用的大数据处理框架包括Apache Hadoop、Apache Spark、Apache Flink等。这些框架提供了分布式计算能力,可以高效地处理和分析大规模数据集。
-
数据应用层:数据应用层用于构建和部署基于大数据的应用程序。这些应用程序可以是数据分析、数据可视化、智能推荐系统、实时监控等。在数据应用层,开发人员可以使用各种编程语言、开发框架和工具来构建具体的应用逻辑。
-
数据安全与隐私层:数据安全与隐私层是大数据技术架构中至关重要的一环。它涉及数据的加密、权限控制、身份验证、隐私保护和合规性等方面的考虑。确保数据的安全性和隐私性对于大数据应用来说是非常重要的。
-
数据可视化与用户界面层:数据可视化与用户界面层负责将数据处理和分析的结果以可视化形式呈现给最终用户。这可以通过数据仪表盘、报告、图表和图形界面等方式实现,使用户能够直观地理解和利用数据。
这些组件和层级构成了大数据技术架构的基本框架,不同的组织和场景可能会根据具体需求进行定制和扩展。大数据技术架构的目标是实现高效的数据处理和分析,从而获得有价值的见解和业务洞察力。
(3)请简述区块链的共识机制。参考答案:略
chatGPT
区块链的共识机制是指在分布式网络中,参与者之间如何就交易的有效性达成一致。共识机制的目的是确保网络的安全性、一致性和可信度,以防止恶意行为和数据篡改。
以下是几种常见的区块链共识机制:
-
工作量证明(Proof of Work,PoW):PoW是比特币等一些早期区块链系统使用的共识机制。参与者(矿工)通过解决复杂的数学难题来竞争生成新的区块,并获得奖励。解题的过程需要大量的计算能力和能源消耗,因此获得更多算力的节点有更高的机会生成新的区块。这种机制确保了网络中绝大多数计算资源的诚实行为,并防止了双重支付等攻击。
-
权益证明(Proof of Stake,PoS):在PoS机制中,参与者(股东)的权益决定了生成新区块的权力。权益通常是以加密货币的形式存在,股东可以将其用作抵押品。根据持有的加密货币数量,节点有机会被选中来创建新区块。PoS机制相对于PoW机制来说,能够节约大量能源消耗,但也可能面临寡头垄断的问题。
-
权威证明(Proof of Authority,PoA):PoA是一种基于信任的共识机制,常用于私有链或联盟链中。在PoA中,参与者是经过授权的特定实体或节点,它们被信任为网络的验证者。这些验证者通过签署交易和生成区块来维护网络的安全性和一致性。PoA机制通常具有更高的吞吐量和较低的延迟,但也具有中心化的特点。
-
实用拜占庭容错(Practical Byzantine Fault Tolerance,PBFT):PBFT是一种面向拜占庭错误容忍的共识机制,常用于私有链或联盟链中。它基于节点之间的相互通信和多数派原则来达成共识。PBFT要求至少两个节点达成一致才认可一次交易,从而保证了交易的有效性和网络的安全性。
这些是一些常见的区块链共识机制,每种机制都有其优缺点和适用场景。选择合适的共识机制需要根据具体的应用需求、网络规模和性能要求等因素进行考虑。