大数据计算技术（下）——Spark

一、Spark概述

Spark官网：Apache Spark™ - Unified Engine for large-scale data analytics

用于大规模数据分析的统一引擎

支持语言：Scala、Java、Python、SQL、R

二、Spark概念

1、Spark运行模式

本地模式：不需要其他资源节点即可执行

独立模式：默认的集群管理模式

Yarn模式：适用Hadoop的Yarn框架进行资源调度

spark-shell    //连接集群并提交，属于交互式环境执行

spark-submit   //属于命令行提交执行

2、Spark运行架构

采用主从结构

集群资源管理器（Cluter Manager）， 工作节点（Worker Node），驱动器程序（Driver Program），执行器（Executor）

3、Spark基本概念

Executor Core：本地使用多线程方式来模拟分布式计算，local是单线程、local[N]是N个线程、local[*]是本地最大可用CPU线程数

并行度：整个集群并行执行的任务的数量

Spark的三种计算框架：RDD、累加器、广播变量

三、RDD（弹性分布式数据集）基础

1、4种创建方式

从文件创建、从内存创建、由其他RDD转化、new方式直接构造