虚拟化技术与大数据_新书推荐 | 大数据技术基础

随着大数据时代的来临，大数据相关概念和技术被人们广泛关注。当前，大数据已广泛应用在包括科研、交通、通信、医疗、金融、制造、体育、个性化生活、安全等在内的各行各业中，大数据对人们的思维模式及科学研究方法带来深远影响，已被列为国家重大发展战略。社会各界对具有大数据专业素养的高级人才求贤若渴。鉴于此，国内外一些高校先后开设了“数据科学与大数据专业”，旨在培养一批具备大数据技术的高级人才以满足社会需求。

然而，面向大数据技术应该学什么？如何学？以及学会怎样用？是困扰众多大数据初学者的主要问题。围绕这些问题，我们以大数据相关概念及技术为主线，采用模块化方法对大数据及其相关的基本理论、关键技术和实际应用进行了综合梳理，构建了大数据模块化知识体系；基于深入浅出思想及配套的实用代码应用案例和操作实践，融会贯通数据科学与大数据技术专业知识“做中学”解决方案，促进大数据思维和计算思维的培养；从理论结合实践的角度，基于产学研合作项目及科研项目成果示范，通过引入中科曙光等大数据应用案例，全面构建数据科学与大数据技术专业知识体系和应用框架。

《大数据技术基础》一书全面系统的介绍了大数据基础知识和相关技术，全书分为五篇：大数据基础篇、大数据存储与管理篇、大数据采集与预处理篇、大数据分析与挖掘篇、大数据平台Hadoop实践与应用案例篇。全书共16章，主要内容包括大数据基本概念、大数据存储与管理概念及技术、大数据采集及预处理技术、大数据计算模式、大数据分布式并行处理框架Hadoop、大数据分布式文件系统HDFS、大数据分布式数据库系统HBase、大数据分布式数据仓库系统Hive、大数据MapReduce分布式并行计算模型、大数据Spark内存计算模型、大数据处理基础算法、大数据关联分析、分类、聚类典型数据挖掘算法、大数据Hadoop平台操作实践、大数据预测应用案例分析以及中科曙光XData大数据平台架构、关键技术及其应用案例。全书提供了大量应用实例，每章后附有习题。本书特色在于融会贯通大数据基本概念与大数据技术及应用，很好将大数据概念、技术及应用融合在一起，便于读者能够更好理解大数据基本概念、更快掌握大数据前沿技术及其应用。

配套资源

全书配备了教学大纲、教学进度表、教学课件和程序源码等教学资源，基于不同的教学内容和教学目标，依据模块化知识框架，可以轻松定制32学时，48学时及64学时的教学进度规划。

适读对象

全书适合作为高等院校数据科学与大数据技术专业，以及计算机科学、软件工程、信息管理等相关专业的本科生及研究生学习大数据技术教学用书，也可作为相关IT工程技术人员的参考用书。

本书简介   全书分为五篇共16章， 内容概况如下：

第一篇大数据基础篇：本篇着重介绍大数据基本概念和大数据Hadoop平台组件，旨在帮助读者正确理解大数据的核心概念及其应用技术，为读者后续章节的学习奠定基础。本篇包括2章：

第1章主要介绍了大数据产生的背景及其发展历程，大数据给我们科学研究及思维模式带来的影响，大数据的4V特征及在科研、交通、通信、医疗、金融、制造、体育、个性化生活、安全等领域的应用。同时也简要介绍了大数据框架体系和关键技术，包括数据采集与预处理技术、数据存储和管理技术、数据分析与挖掘技术、数据可视化技术、数据安全保护技术、云计算、物联网和机器学习等技术。

第2章主要介绍了大数据并行计算框架Hadoop平台，包括Hadoop的项目来源、发展历程、主要用途、分布式存储和并行计算基本原理，以及对Hadoop平台核心组件(HDFS、MapReduce、Zookeeper、Yarn、HBase、Hive、Spark、Mahout等)的简要描述。

第二篇大数据存储与管理篇：本篇着重介绍大数据存储与管理基本概念和常用的大数据分布式文件系统HDFS、大数据分布式数据库系统HBase、大数据分布式数据仓库系统Hive，旨在帮助读者正确理解大数据存储与管理的核心概念及其相关软件技术。本篇包括4章：

第3章主要介绍了大数据存储与管理的基本概念和技术，包括数据管理技术发展回顾，大数据数据类型，大数分布式系统基础理论，NoSQL数据库的兴起，以及与大数据存储和管理密切相关的分布式存储技术、虚拟化技术和云存储技术。

第4章主要介绍了大数据分布式文件系统HDFS，包括HDFS的设计特点，体系结构和工作组件。阐述了HDFS文件系统工作流程，分析了在HDFS下读写数据的过程。围绕HDFS文件系统操作，详细介绍了HDFS文件操作命令，并对HDFS API主要编程接口进行介绍，给出了编程实例。

第5章主要介绍了大数据分布式数据库系统HBase，重点描述了HBase列式数据库的逻辑模型和物理模型的基本概念，给出了HBase体系结构及其工作原理。结合实例介绍了操作HBase表及其数据的操作命令，并对HBase API主要编程接口进行介绍，给出了编程实例。

第6章主要介绍了大数据分布式数据仓库系统Hive，包括Hive的工作原理和执行流程、Hive的数据类型与数据模型，常用的Hive SQL语句及其操作示例，以及Hive主要访问接口等。

第三篇大数据采集与预处理篇：本篇着重介绍大数据采集与预处理技术，对常用大数据采集工具进行了简单介绍。本篇包括2章：

第7章主要介绍了大数据采集与预处理相关技术，包括数据抽取、转换和加载技术，数据爬虫技术、数据清理、数据集成、数据变换和数据归约的方法和技术。

第8章主要介绍了几个常用的大数据采集工具，包括Sqoop关系型大数据采集工具，Flume日志大数据采集工具和分布式大数据Nutch爬虫系统。

第四篇大数据分析与挖掘篇：本篇着重介了大数据计算模式，大数据MapReduce计算模型，大数据Spark内存计算模型，以及大数据MapReduce基础算法和挖掘算法，旨在帮助读者全面理解大数据分析与挖掘的核心思想与编程技术。本篇包括5章：

第9章主要介绍了五种大数据计算模式，包括大数据批处理、大数据查询分析计算、大数据流计算、大数据迭代计算、大数据图计算。

第10章主要介绍了大数据MapReduce计算模型，包括MapReduce的由来、主要功能、技术特征，MapReduce的模型框架和数据处理过程，MapReduce程序执行过程，以及MapReduce主要编程接口及WordCount实例分析。

第11章主要介绍了大数据Spark计算模型，包括Spark的产生、技术特征，Spark的工作流程与运行模式，以及Spark主要访问接口并给出了3种WordCount编程实现。

第12章主要介绍了大数据MapReduce基础算法，包括关系代数运算的MapReduce设计与实现，矩阵乘法的MapReduce设计与实现。

第13章主要介绍了大数据MapReduce挖掘算法，包括大数据关联规则Apriori算法的MapReduce设计与实现，大数据KNN分类算法的MapReduce设计与实现，大数据K-Means聚类算法的MapReduce设计与实现。

第五篇大数据平台Hadoop实践与应用案例篇：本篇着重介绍大数据Hadoop平台的实践操作，给出了大数据技术在开敞式码头系泊缆力预测中的应用，以及中科曙光XData大数据平台架构、关键技术及其应用案例，旨在帮助读者理解如何将大数据的方法和技术运用到实际项目需求中，促进大数据技术在各领域行业中的应用。本篇包括3章：

第14章主要介绍了Hadoop大数据平台操作实践，包括Hadoop系统的安装与配置详细操作，Hadoop平台文件操作及程序运行命令，以及Hadoop平台下程序开发方法和过程。

第15章主要介绍了大数据方法和技术在开敞式码头系泊缆力预测中的应用，给出了大数据系泊缆力相似性查询预测方法，并基于Hadoop大数据平台完成了系泊缆力预测的相似性查询方法MapReduce设计与实现。

第16章主要介绍了中科曙光XData大数据方法的架构及关键技术，包括曙光XData大数据集成与数据治理组件、大数据存储与数据计算组件、大数据分析与数据智能组件、大数据可视化分析组件、大数据安全管控与管理运维组件，并给出了基于曙光XData大数据平台的智能交通应用案例。

如果您是教师，打算订购教材，请加微信咨询:  wenmingjie0702