2.5 新一代信息技术

第2章 信息技术知识

2.5 新一代信息技术

2.5.1 大数据

1、大数据概念及关键技术

大数据的来源包括网站测览轨迹、各种文档和媒体、社交媒体信息、物联网传感信息、各种程序和APp的日志文件等。
大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合，其具有4V特性:

• 体量大（Volume）：体量大指数据量巨大，而且非结构化数据的超大规模和增长快速，非结构化数据占总数据量的80％-90％，其增长比结构化数据快l0倍到50倍。大数据处理的数据量是传统数据仓库的l0倍到50倍。
• 多样性（Variety）：多样性指数据类型包括结构化数据、半结构化数据和非结构化数据，具有很多不同形式（文本、图像、视频、机器数据），这些数据无模式或者模式不明显，并且属于不连贯的语法或句义。
• 价值密度低（Value）：价值密度低指类似沙里淘金，从海量的数据里面获得对自己有用的数据，要处理大量的不相关信息。大数据同时也意味深度复杂分析，比如机器学习和人工智能，甚至可以对未来趋势与模式的进行预测分析。
• 快速化（Velocity）：大数据处理的数据通常指实时获取需要的信息，进行实时分析而非批量式分析，数据处理通常立竿见影而非事后见效。

大数据所涉及的技术很多，主要包括数据采集、数据存储、数据管理、数据分析与挖掘4个环节。

• 数据采集：在数据采集阶段主要使用的技术是数据抽取工具ETL

• 数据存储：在数据存储环节主要有结构化数据、非结构化数据和半结构化数据的存储与访问。结构化数据一般存放在关系数据库，通过数据查询语言（SQL）来访问；非结构化（如图片、视频、doc文件等）和半结构化数据—般通过分布式文件系统的NoSQL（NotOnlySQL）进行存储。

• 数据管理：大数据管理主要使用了分布式并行处理技术，比较常用的有MapReduce，借助MapReduce编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。

• 数据分析与挖掘：数据分析与挖掘是根据业务需求对大数据进行关联、聚类、分类等钻取和分析，并利用图形、表格加以展示，与ETL—样，数据分析和挖掘是以前数据仓库的范畴，只是在大数据中得以更好的利用。

• HDFS:Hadoop分布式文件系统（HDFS）是适合运行在通用硬件上的分布式文件系统,高度容错性,适合部署在廉价的机器上,高吞吐量的数据访问,非常适合大规模数据集上的应用

• HBase:HBase是—个分布式的、面向列的开源数据库,该技术来源于论文“Bigtable:一个结构化数据的分布式存储系统”HBase在Hadoop之上提供了类似于Bigtable的能力，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群，非结构化数据存储，基于列的而不是基于行

• MapReduce：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（归约）”以及它们的主要思想，都是从函数式编程语言里借来的。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上，从而实现对HDFS和HBase上的海量数据分析。

• Chukwa：Chukwa是—个开源的用于监控大型分布式系统的数据收集系统。这是构建在hadoop的hdfS和map/reduce框架之上的,继承了hadoop的可伸缩性和鲁棒性。Chukwa还包含了—个强大和灵活的工具集，可用于展示、监控和分析已收集的数据。

2.5.2 云计算

特点：

• 超大规模：云具有相当的规模，企业私有云一般拥有数百上千台服务器
• 虚拟化：云计算支持用户在任意位置、使用各种终端获取应用服务
• 高可靠性：云使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性
• 通用性：云计算不针对特定的应用，同一个云可以同时支撑不同的应用运行
• 高可扩展性：云的规模可以动态伸缩,满足应用和用户规模增长的需要
• 按需服务：云是—个庞大的资源池，用户按需购买；云可以像自来水、电、煤气那样计费
• 极其廉价：由于云的特殊容错措施可以采用极其廉价的节点来构成云，自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本
• 潜在的危险性：云计算服务除了提供计算服务外，还必然提供了存储服务，云计算服务当前垄断在私人机构（企业）手中，而他们仅仅能够提供商业信用。对于政府机构、商业机构（特别像银行这样持有敏感数据的商业机构）对于选择云计算服务、特别是国外机构提供的云计算服务时，不得不考虑的—个重要的前提

云计算架构：

• 基础设施即服务（IaaS），英文为Infrastructure as a Service,指消费者通过Internet可以从云计算中心获得完善的计算机基础设施服务，例如虚拟主机、存储服务等,如果把云计算比作一台计算机，IaaS就相当于计算机的主机等硬件。
• 平台即服务（PaaS），英文为Platform as a Service，指为云计算上各种应用软件提供服务的平台应用，其作用类似于个人计算机的操作系统，也包括一些增强应用开发的“开发包”。
• 软件即服务（SaaS），英文为Software as a Service，是一种通过Internet提供软件的模式，用户无须购买软件，而是向提供商租用基于web的软件，来管理企业经营活动。类似于个人计算机中各种各样的应用软件。

从云计算的核心,及大型数据中心的内部结构来看,其结构包括资源池、云操作系统和云平台接口

• 资源池:指集群管理的各种基础硬件资源,如CPU、存储和网络带宽等
• 云操作系统:通过虚拟化技术对资源池中的各种资源进行统一调度管理
• 云平台接口:用户应用调用云计算资源的接口

云计算关键技术,云计算关键技术包括网格计算和虚拟化两种:
网格计算是一种计算能力提升的方式,其原理是依据并行计算理论,通过任务分解,将子任务分布式提交到其他服务器上运行,以获得更强大计算能力。
网格计算的基础技术就是Web Services。云计算的平台技术，主要依赖于SOA。

虚拟化，即基础设施的虚拟化，核心是传统已经成熟的集群计算和分区计算的结合。
集群计算将多台服务器虚拟为一台服务器的技术’目的是提高计算能力和提升设备的容错、实现负载均衡。
集群计算已广泛应用于操作系统、数据库和中间件等系统软件平台。
虚拟化目前还包括网络虚拟化（VPN）和存储虚拟化（SAN／NAS）等技术。

云计算又可分为公有云、私有云和混合云。公有云通常指第三方提供商用户能够使用的云。

2.5.3 物联网

物联网不是一种物理上独立存在的完整网络，而是架构在现有互联网或下一代公网或专网基础上的联网应用和通信能力，是具有整合感知识别、传输互联和计算处理等能力的智能型应用。
物联网概念的3个方面:

• 物:客观世界的物品，主要包括人、商品、地理环境等。

• 联:通过互联网、通信网、电视网以及传感网等实现网络互联。

• 网:首先，应和通信介质无关，有线无线都可。其次，应和通信拓扑结构无关，总线、星型均可。最后，只要能达到数据传输的目的即可。
  
  物联网架构，物联网从架构上面可以分为感知层、网络层和应用层：

• 感知层：负责信息采集和物物之间的信息传输，
  信息采集的技术包括传感器、条码和二维码、RFID射频技术、音视频等多媒体信息，
  信息传输包括远近距离数据传输技术、自组织组网技术、协同信息处理技术、信息采集中间件技术等传感器网络。
  是实现物联网全面感知的核心能力，是物联网中包括关键技术、标准化方面、产业化方面待突破的部分，关键在于具备更精确、更全面的感知能力，并解决低功耗、小型化和低成本的问题°

• 网络层：是利用无线和有线网络对采集的数据进行编码、认证和传输，广泛覆盖的移动通信网络是实现物联网的基础设施，是物联网三层中标准化程度最高、产业化能力最强、最成熟的部分，
  关键在于为物联网应用特征进行优化和改进，形成协同感知的网络。

• 应用层：提供丰富的基于物联网的应用，是物联网发展的根本目标，将物联网技术与行业信息化需求相结合，实现广泛智能化应用的解决方案集，
  关键在于行业融合、信息资源的开发利用、低成本高质量的解决方案、信息安全的保障以及有效的商业模式的开发

各个层次所用的公共技术包括编码技术、标识技术、解析技术、安全技术和中间件技术

2.5.4 移动互联网

移动互联网=移动通信网络+互联网内容和应用，不仅是互联网的延伸，而且是互联网的发展方向。
移动互联网不仅具有传统互联网应用的简单复制和移植，还应具有下列新特征：

• 接入移动性:移动终端的便携性使得用户可以在任意场合接入网络，移动互联网的使用场景是动态变化的。
• 时间碎片性:用户使用移动互联网的时间往往是上下班途中、工作之余、出差等候间隙等碎片时间，数据传输具有不连续性和突发性。
• 生活相关性:移动终端被用户随身携带，具有唯一号码与移动位置关联的特性，使得移动应用可以进入人们的曰常生活，满足衣食住行、吃喝玩乐等需求。
• 终端多样性:目前各手机厂商分足鼎立，拥有各自不同的操作系统和类型多样的底层硬件终端，尚未形成统一的标准化接口协议。

移动互联网的关键技术包括架构技术SOA、页面展示技术Web2.0和HTML5、以及主流开发平台Android、iOS和WindowsPhone

• SOA（Service-Oriented Architecture，面向服务的架构）是一种粗粒度、松辊合服务架构，服务之间通过简单、精确定义接口进行通信，不涉及底层编程接口和通信模型。SOA可以看作是B/S模型、XML（标准通用标记语言的子集）／Web Service技术之后的自然延伸。支持将业务转换为一组相互链接的服务或可重复业务任务,可以对这些服务进行重新组合，以完成特定的业务任务，从而使业务能够快速适应不断变化的客观条件和需求。
  
• Web2.0严格来说不是一种技术，而是提倡众人参与的互联网思维模式，是相对于Webl.0的新的时代
• HTML5在原有HTML基础之上扩展了API，使WEB应用成为RIA（RichIntemet Applications），具有高度互动性、丰富用户体验以及功能强大的客户端
• Android一词的本义指”机器人”，是一种基于Linux的自由及开放源代码的操作系统，主要使用于移动设备，如智能手机和平板电脑。很多移动重点厂商在标准Android基础上封装成自有的操作系统。
• ios是一个非开源的操作系统,其SDK本身是可以免费下载的,但为了发布软件,开发人员必须加入某品牌开发者计划,其中有—步需要付款以获得某品牌的批准。加入了之后，开发人员们将会得到一个牌照，他们可以用这个牌照将他们编写的软件发布到某品牌的网上软件商店。