大数据基础原理与应用

第一章

1.大数据问题的定义和来源 （信息爆炸，三大技术支撑，数据产生方式变革）

答：信息量会急剧增加达到一定程度将会信息爆炸，主要有两大原因。在硬件方面由三个技术组成，软件方面由数据产生方式组成。

2）三大技术支持：存储设备容量不断增加；CPU处理能力大幅提升；网络宽带不断增加。

3）数据产生方式变革：运营式系统阶段，用户原创内容阶段，感知式系统阶段。

2.大数据问题的特点 （大数据的概念，4V）

答：特点：数据量大，类型繁多，处理速度快，价值密度低。

3.大数据应用四大层面的关键技术

答：1）采集与预处理：利用ETL工具将分布的、异构数据源中的数据，如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；也可以利用日志采集工具把实时采集的数据作为流计算系统的输入，进行实时处理分析；

2）存储和管理：利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理；

3）处理与分析：利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据；

4）安全和隐私保护：在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个人隐私和数据安全。

4.大数据四大计算模式

答：1）批处理计算：针对大规模数据的批量处理，主要代表产品：MapReduce、Spark等；

2）流计算：针对流数据的实时计算Streams、Storm、S4、Puma、DStream、SuperMario；

3）图计算：针对大规模图结构数据的处理，Pregel、GraphX、Giraph、PowerGraph；

4）查询分析计算：大规模数据的存储管理和查询分析，SparkSQL、Hive、Cassandra、Impala等。

5.云计算的概念，物联网的概念，云计算与物联网之间的关系

答：云计算：云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种的IT资源。

物联网：物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、计算机、人员和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。

关系：云计算为物联网提供海量数据存储能力，物联网为云计算技术提供了广阔的应用空间。

第三章

6.HDFS的本质：分布式文件系统

答：HDFS本质：分布式文件系统是一种通过网络实现文件在多台主机上进行分布式存储的文件系统。把文件分布到存储到多个计算机节点上。

7.HDFS块存储的概念和好处

答：块存储的概念：默认块的大小为64MB，在HDFS中的文件都会被拆分成多个块，每个块作为单独的单元进行存储。

好处：支持大规模文件存储；适合数据备份；简化系统设计。

8.名称节点和数据节点的功能

答：名称节点：负责管理分布式文件系统的命名空间，保存了两个核心的数据结构，即FsImage和EditLog。

FsImage用于维护文件系统树以及文件树中所有的文件和文件夹的元数据；

FditLog记录了所有针对文件的创建、删除及重命名等操作。

数据节点：是分布式文件系统HDFS的工作节点，负责数据的存储和读取，会根据客户端的调度来进行数据的存储和检索，并向名称节点定期发送自己所存储的块的列表。

9.第二名称节点的意义和工作原理

答：首先，可以完成EditLog与FsImage的合并操作，减小EditLog文件大小，缩短名称节点重启时间；其次，可以作为名称节点的“检查点”，保存名称节点中的元数据信息。

工作原理：1）首先，第二名称节点定期与名称节点通信，请求其停止Editlog文件且暂时将新的操作写入一个新的文件Edit.new上，第二名称节点把名称节点的两文件拉回本地再载入内存中；

2）中间：对二者进行合并操作，即在内存中逐条执行EditlLog使得FsImage保存最新，合并后将最新的FsImage发至名称节点，收到后将FsImage替换新的&#x