【精华版】大数据原理与应用第二版复习考点提纲

第一章

1. 大数据问题的定义和来源 P3-5
   1. 存储设备容量不断提升；   信息储存
   2. CPU处理能力大幅度提升； 信息处理
   3. 网路带宽不断增加；       信息传输
2. 大数据问题的特点 P7-9  4V
   1. 数据量大（Volume）
   2. 数据类型多（Variety）
   3. 处理速度快（Velocity）
   4. 价值密度低（Value）
3. 大数据应用四大层面的关键技术 P15
   1. 数据采集和预处理；
   2. 数据存储和管理；
   3. 数据处理和分析；
   4. 数据安全和隐私保护；
4. 大数据四大计算模式：除图计算外详细了解 P16
   1. 批处理计算
      • 针对大规模数据的批量处理；
      • MapReduce、Spark（使用内存来代替HDFS和本地磁盘来存储中间结果）
   2. 流计算
      • 针对流数据的实时计算；
      • 流数据：指在时间分布和数量上无限的一系列动态数据集合体，数据价值随时间流逝而降低；
      • 秒级响应；Strom、S4、银河流数据处理平台；
   3. 图计算
      • 针对大规模图结构数据的处理；
   4. 查询分析计算
      • 大规模数据的存储管理和查询分析；
      • 实时或准实时响应；
      • Dremel、Hive
5. 云计算的概念，物联网的概念，云计算与物联网之间的关系 P18-19,21-22,26
   1. 云计算的概念：以虚拟化技术为核心、以低成本为目标、灵活可扩展的网络应用基础设施，是近年来最具代表性的网络计算技术与模式；
      • 三种典型的服务模式：IaaS、PaaS、SaaS；
      • 三种类型：公有云、私有云、混合云；
      • 关键技术：虚拟化、分布式存储、分布式计算、多租户；
   2. 物联网的概念：物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
      • 四层：感知层、网络层、处理层、应用层；
      • 关键技术：识别和感知技术、网络与通信技术、数据挖掘和融合技术；
   3. 关系：

   

        

第三章

1. HDFS的本质：分布式文件系统

分布式文件系统是一种通过网络实现文件在多台主机上进行分布式存储的文件系统；

1. 块的概念和优势P46
   1. 概念：以数据块为读写单位
   2. HDFS默认块大小：64MB。
   3. 好处：（原因）
      • 支持大规模文件储存；（可分割）
      • 简化系统设计；（固定大小）
      • 适合数据备份；（冗余存储）
2. 名称节点和数据节点的定义P46-47
   1. 名称节点：负责管理分布式文件系统的命名空间，保存了两个核心的数据结构：FsImage和EditLog记录了每个文件中各个块所在的数据节点的位置信息。
   2. 数据节点：工作节点，负责数据的存储和读取，会根据客户端或者名称节点的调度来进行数据的存储和检索，并且向名称节点定期发送自己所存储的块的列表。
3. 第二名称节点的意义和工作原理P47
   1. 意义：
      • 可以完成EditLog和FsImage的合并操作，减小EditLog文件大小，缩短名称节点重启时间；
      • 可以作为名称节点的“检查点”，保存名称节点中的元数据信息；
   2. 工作原理：看书
4. 冗余存储的具体实现方法和优势P50-51
   1. 具体实现方法：把一个数据块的多个副本分布到不同数据节点上；
   2. 优势：
      • 加快数据传输速度；
      • 容易检查数据错误；
      • 保证数据可靠性；
5. 数据存放策略和原因P51，数据读取与复制P52
   1. 数据存取策略：多机架存储
   2. 原因：提高数据可靠性和系统可用性，以及充分利用网络带宽。
6. HDFS中三种可能的错误和恢复方法 P52
   1. 名称节点出错：首先到远程挂载的网络文件系统中获取备份的元数据信息，放到第二名称节点上进行恢复，并把第二名称节点作为名称节点来使用；
   2. 数据节点出错：若数据块数量小于冗余因子，启动数据冗余复制，生成新的副本；
   3. 数据出错：客户端请求到另一个数据节点读取该文件，并且向名称节点报告这个文件块有错误，名称节点会定期检查并重新复制。

第四章 HBASE

1. HBASE与传统数据库的对比 P64-65
   1. 数据类型：将数据储存为未经解释的字符串；
   2. 数据操作：只有增、删、查、清空等，没有表间关系；
   3. 储存模式：基于列存储；
   4. 数据索引：只有一个“行键”索引；
   5. 数据维护：执行更新操作会保留旧版本；
   6. 可伸缩性：灵活的水平扩展；
   7. 局限：不支持事务，无法实现跨行的原子性；
2. HBASE的数据模型概念、数据坐标P66-68
   1. 数据坐标：四维坐标[行键，列族，列限定符，时间戳]

3.HBASE列式存储的基本模型 P70 图4-4

4.HBASE的三层结构 P73

Zookeeper文件，-ROOT-表，.MATE.表

1. HBASE的系统结构P74-75

客户端，Zookeeper服务器，Marster服务器，Region服务器

第五章NoSQL数据库

1. NoSQL数据库三大特点 P94-95

灵活的可扩展性；灵活的数据模型；与云计算紧密融合；

1. 关系型数据库不满足Web2.0应用的三大原因 P96
   1. Web2.0网站系统通常不要求严格的数据库事务；
   2. Web2.0不要求严格的读写实时性；
   3. Web2.0通常不包含大量复杂的数据库SQL查询;
2. NOSQL数据库四大类型名称与特点P99-101
   1. 名称：键值数据库，列族数据库，文档数据库，图数据库
3. NoSQL三大基石：CAP的定义，CAP三种选择两种的实现方法P102-103
   1. 三大基石：CAP、BASE、最终一致性；
   2. CAP的定义：
      • C:一致性：指任何一个读操作总是能够读到之前完成的写操作的结果，也就是在分布式环境中，多点的数据是一致的；
      • A:可用性：指快速获取数据，可以在确定的时间内返回操作的结果；
      • P:分区容忍性:指当出现网络分区时，分离的系统也能正常运行；
   3. CAP三种选择两种的实现方法
      • CA:最简单的做法是把所有与事务相关的内容都放到一台机器上；
      • CP:当出现网络分区的情况时，受影响的服务要等待数据一致，期间无法提供对外服务；
      • AP:允许系统返回不一致的数据。也可以不完全放弃一致性，转而采用最终一致性。
4. NoSQL三大特性：BASE定义 P104

BASE定义：基本可用（P），软状态（A），最终一致性（C）；

 

第七章 MapReduce（分布式并行编程框架）

1. Map与Reduce的基本定义P133表7-1
2. MapReduce基本工作流程 P134

“分而治之”

1. 使用combiner与不使用combiner时的MapReduce执行Wordcount的基本流图 P141-142 图7-7、8、9

Combiner函数：对中间结果进行合并再发送给Reduce任务

4.使用MapReduce进行自然连接运算流程 P143

 

第九章 Spark（大数据处理框架）

 

1. Spark相比Hadoop的核心优势，核心优势的实现方法P174

核心优势实现方法：将计算数据、中间结果都存放到内存中，大大减少IO开销。

1. Spark面向不同功能的组件 P176

Spark Core;Spark SQL;Spark Streaming;MLlib;GraphX

3.RDD转换操作、行动操作、惰性调用与DAG构建 P180

4.常用RDD API P188表9-2 9-3

 

第十章

1. 流数据的特点P195
   1. 数据快速持续到达，潜在大小也许是无穷尽的；
   2. 数据来源众多，格式复杂；
   3. 数据量大，但十分不关注储存，一旦流数据中的某个元素经过处理，要么被丢弃，要么被归档储存；
   4. 注重数据的整体价值，不过分关注个别数据；
   5. 数据顺序完全颠倒，或者不完整，系统无法控制将要处理的新到达的数据元素的顺序；
2. 流计算的数据处理流程 P198

数据实时采集，数据实时计算，实时查询服务。

1. 静态数据分析与流数据处理的不同（批处理与流计算）P199
   1. 流处理系统处理的是实时的数据，而传统的数据处理系统处理的是预先存储好的静态数据；
   2. 用户通过流数据处理系统获取的是实时结果，而通过传统的数据处理系统获取的是过去某一时刻的结果。并且，流处理系统无需用户主动发出查询，实时查询服务可以主动将实时结果推送给客户。
2. 流计算的概念，MapReduce为什么不适用于流计算？

MapReduce的批量任务处理方式在时间延迟方面无法满足流计算的实时响应需求；

1. Storm的基本设计思想 （Spouts Bolts Topology）P202
2. Spark Streaming的基本设计思想 P207