pyspark的部署,standalone模式和yarn模式的原理以及一些运用

开启spark服务之前要先优先打开hdfs服务和相应的历史服务器

standalone模式

• hdfs开启

start-dfs.sh

• yarn开启

$HADOOP_HOME/sbin/start-yarn.sh

• 开启yarn的历史服务器

$HADOOP_HOME/bin/mapred --daemon start historyserver

• 开启spark的历史服务器
  在spark/sbin目录下执行

start-history-server.sh

• 开启spark服务
  在spark/sbin目录下执行

./start-all.sh

要注意不要直接执行start-all，不然是启动hdfs服务的

• 访问sparkmaster服务
  观察spark-master是否处于工作状态中，可以访问{master-node}:8080端口，其中会给出master节点的工作端口和地址。
  通过这个地址就能够创建standalone状态的spark集群服务。

• 观察spark程序运行状态
  在spark job运行的过程中，可以访问{master-node}:4040端口，会给出进程具体的工作状态过程。
  要注意在job结束后该端口就会被关闭，无法访问。

spark程序中Job、State、Task三个概念之间的关系

一个spark程序（Application）可以被拆分成多个job，每个job又可以被拆分成多个state（stage），
每个state又会分出多个task来执行。
每个task占据一个线程

spark中线程和进程之间的关系

spark每个task占据一个线程
每次提交spark的applicatio任务，master（Driver）节点会分析该application，然后决定要使用多少个executor，每个executor会占据一个进程。每个worker节点中都包含一个executor进程。
driver会将一个application根据action算子的数量，将一个application拆分成多个job，在每个job的内部，根据有向无环图（DAG）再将一个job划分成多个stage，每个stage的内部也根据DAG拆分成多个task，每个task占据一个线程。
DAG scheduler负责任务的拆分，然后将taskset交给task manager，task manager负责将task放在具体的executor上执行。

spark standalone HA 模式

standalone 存在master单点故障的问题，即master一旦宕机，则该standalone集群即不可用

解决方法：使用zookeeper的standby masters

• 设置多个master节点，但是保证只有一个master处于激活状态，其余的master节点都是处于standby状态
• 当一个master宕机的时候，另一个standby的master就会被激活
• 系统的信息都被持久化到了文件系统中，包括worker、driver、application等信息，因此，后续提交的job就会由新的master来执行，正在进行中的job不受影响

启动zookeeper

在zookeeper/bin目录下执行

./zkServer.sh start

spark on yarn 模式

spark on yarn模式就是不需要创建spark独立的集群，让spark依赖于yarn集群。
在standalone模式中，如果已经有了yarn集群，那么在单独部署一个spark集群，就对资源的利用率进行了降低。
on yarn模式中，不需要部署spark集群，只需要通过一个服务器充当客户端将spark部署到yarn集群上即可。

spark on yarn的本质

• master 角色由yarn的resourcemanager担当
• worker的角色由NodeManger担当
• Driver运行在yarn的容器内或者在提交任务的客户端进程中
• executor运行在yarn的容器中

spark on yarn的部署

确保两个环境变量配置好了

• HADOOP_CONF_DIR
• YARN_CONF_DIR

spark on yarn的两种模式

两种模式的主要区别在于driver的运行位置不同

• cluster模式
  driver运行在yarn容器的内部，和applicationmaster运行在同一个容器内

  • 缺点：需要进入到容器的内部才能够看到driver的日志，client模式可以直接在客户端的标准流中看到日志的输出
  • 优点：通讯效率较高、较为稳定，适合生产模式

• client模式
  driver运行在客户端进程中，运行在spark-submit的进程中。

  • 缺点：通讯效率较cluster模式相对较低，且基于客户端进程，较为不稳定
  • 优点：输出日志较容易观察，适合测试开发环境

client模式

cluster模式

pyspark on spark原理

• driver端
  python通过socket与spark创建的driver运行的底层JVM进行交互，代码通过py4j转换成java代码，创建对应的sc，实现与spark的运行

• worker端
  worker上会创建一个pyspark的守护进程，driver的指令发送给executor的jvm，jvm将其转发给pyspark的守护进程，守护进程将该指令调度到运行中的python程序上。
  本质上worker端的python进程在工作，但是指令来自于jvm，通过RPC协议发送给python进程