spark相关知识

一：大数据及其关键技术

1.大数据的特点：数据量大，数据类型多，处理速度快，价值密度低。

2.大数据的基本处理流程：数据采集---存储管理---处理分析---结果呈现。由此得出大数据技术主要包括数据采集与预处理，数据存储与管理，数据处理与分析，数据可视化，数据安全和隐私保护等层面。

3.大数据的计算模式：

（1）批处理计算：针对大数据的批量计算。

（2）流计算：针对数据的实时计算。

（3）图计算：针对大规模图结构数据的计算。

（4）查询分析计算：大规模数据的存储管理和查询分析。

4.HDFS：具有很好的容错能力，采用主从结构模型，一个HDFS集群包括一个名称节点和若干个数据节点，名称节点并不参与数据的传输。

5.MapReduce是一种分布式并行编程模型。设计理念是“计算向数据靠拢”，即将数据节点和存储节点放在一起运行，从而减少节点间的数据移动开销。

HBase：高可靠，高性能，面向列，可伸缩的分布式数据库，可水平扩展。

Sqoop：主要用在Hadoop和关系数据库之间交换数据。

二：spark简介

1.spark：是基于内存计算的大数据并行计算框架，可用于构建大型的，低延迟的数据分析应用程序，可作为一个更加快速，高效的大数据计算平台。