大数据期末要点知识

大数据要点

一、

1、数据产生方式大致经历了3个阶段：运营式系统阶段、用户原创内容阶段、感知式系统阶段。

2、大数据的特点:数据量大（volume）、数据类型繁多（variety）、处理速度快（velocity）、价值密度低（value）；4V+1C （C：复杂度 complexity）。

3、云计算的特点：超大规模、虚拟化、高可靠性、通用性、高可伸缩性、按需服务、极其廉价。

4、科学研究方面经历的4种范式：实验、理论、计算、数据。

5、大数据四种计算模式:批量计算(针对大规模数据的批量数据)；流计算(针对流计算的实时计算)；图计算(针对大规模图结构数据的处理)；查询分析计算(大规模数据的存储管理和查询分析)。

6、数据总体上可以分为静态数据和流数据。

7、对静态数据和流数据的处理，对应着两种截然不同的计算模式：批量计算和实时计算。

8、Hadoop的特性：高可靠性、高效性、高扩展性、高容错性、成本低、运行在Linux平台上、支持多种编程语言。

9、Hadoop的核心子项目：HDFS和MapReduce。HDFS 2.0的新特性HDFS HA和HDFS联邦。

10、YARN体系结构中的三个组件：ResourceManager、ApplicationMaster和NodeManager。

二、

1、分布式文件系统是一种通过网络实现文件在多台主机上进行分布式存储的文件系统。

2、名称节点：名称节点也叫主节点，负责管理分布式文件系统的命名空间，负责文件和目录的创建、删除和重命名等，同时管理着数据节点和文件块的映射关系。

  数据节点：数据节点也叫从节点，负责数据的存储和读取，在存储时，有名称节点分配存储位置，然后由客户端把数据直接写入相应的数据节点。

  第二名称节点：完成EditLog合并到FsImage的过程，缩短合并的重启时间，其次作为“检查点”保存元数据的信息。

3、HDFS体系结构：HDFS采用了主从结构模型，一个HDFS集群包括一个名称节点和若干个数据节点。

4、数据的冗余存储：作为一个分布式文件系统，为了保证系统的容错性和可用性，HDFS采用了多副本方式对数据进行冗余存储，通常一个数据块的多个副本会被分不到不同的数据节点上，数据块1被分别存放到数据节点A和C上，数据块2被存放在数据节点A和B上。(多副本存储:名称节点保存的元数据被分