一、Spark概述
Spark官网:Apache Spark™ - Unified Engine for large-scale data analytics
用于大规模数据分析的统一引擎
支持语言:Scala、Java、Python、SQL、R
二、Spark概念
1、Spark运行模式
本地模式:不需要其他资源节点即可执行
独立模式:默认的集群管理模式
Yarn模式:适用Hadoop的Yarn框架进行资源调度
spark-shell //连接集群并提交,属于交互式环境执行
spark-submit //属于命令行提交执行
2、Spark运行架构
采用主从结构
集群资源管理器(Cluter Manager), 工作节点(Worker Node),驱动器程序(Driver Program),执行器(Executor)
3、Spark基本概念
Executor Core:本地使用多线程方式来模拟分布式计算,local是单线程、local[N]是N个线程、local[*]是本地最大可用CPU线程数
并行度:整个集群并行执行的任务的数量
Spark的三种计算框架:RDD、累加器、广播变量
三、RDD(弹性分布式数据集)基础
1、4种创建方式
从文件创建、从内存创建、由其他RDD转化、new方式直接构造