spark学习笔记整理

搭建集群的步骤:

1、解压安装包，改名
2、进入conf目录
修改slave.templateslave
Node02
Node03
Node04
修改spark-env.sh.template—>env.sh
SPARK_MASTER_IP=node01
SPARK_MASTER_PORT=7077
SPARK_WORKER_CORES=3
SPARK_WORKER_MEMORY=2G
SPARK_WORKER_INSTANCE=1
SPARK_WORKER_DIR=/……自定义
3、将修改好的安装包同步到其他节点上
4、配置环境变量
配置前一定要修改start-all.sh命令 防止和Hadoop集群冲突
5、启动集群
6、http：//node01：8080
7、提交Application到集群中运行
spark-submit –master spark://node01:7077 –class org.apache.spark.examples.SpaekPi …/lib/spark-examples-1.6.3-hadoop2.6.0jar 10

Spark运行模式

Sparkspark Application  向资源调度器（yarn、mesos、standalone，spark自带的资源调度器）申请资源任务调度器分布式运行

Driver作用:
1、分发任务到计算节点运行
2、监控task（thread）的运行情况
3、如果task失败，会重新发送（有限制次数）
4、可以拉回结果到Driver进程
结论