【Spark】spark安装与spark shell运行（1）

windows电脑安装参考：Spark学习笔记--Spark在Windows下的环境搭建，特别提示一下，可以不用安装hadoop，如果只是学习的话。（windows安装肯定只是为了学习啊。。。）

 

spark任务执行过程简介

Yarn和Spark的StandAlone调度模式对比

Yarn	Spark	作用
ResouceManager	Master	管理子节点、资源调度、接收任务请求
NodeManger	Worker	管理当前节点，并管理子进程
YarnChild	Executor	运行真正的计算逻辑的（Task）
Client	SparkSubmit （相当于yarn的Client + ApplicaitonMaster）	提交app，管理该任务的Executor（提交任务，并上传jar包
ApplicaitonMaster		并将Task提交到（Executor）

用idea编写spark程序

创建RDD，然后对RDD进行操作（调用RDD的方法，方法分为两类，一个叫Transformation(懒 lazy)，一类叫Action（会执行任务））

rdd上的方法和scala原生的方法是有区别的

写好程序，打包上传集群运行

本地模式运行spark程序，setMaster("local[*]")