Spark 集群

Spark集群部署模式
    1.local
    2.standalone
    3.mesos
    4.yarn

Spark闭包处理  
    分区列表,function,dep Option(分区类, Pair[Key,Value]),首选位置。
    运行job时，spark将rdd打碎变换成task,每个task由一个executor执行。执行    之前，spark会进行task的闭包(closure)计算。闭包是指针对executor可见的变量和方法,以备在rdd的foreach中进行计算。闭包就是串行化后并发送给每个executor.
    
    local模式下，所有spark程序运行在同一JVM中，共享对象，counter是可以累加的。
    原因是所有executor指向的是同一个引用。

    cluster模式下，不可以，counter是闭包处理的。每个节点对driver上的counter是不可见的。只能看到自己内部串行化的counter副本。
    

Spark的应用的部署模式
    格式：   spark-submit --class xxx xx.jar --deploy-mode (client | cluster)
    --deploy-mode指定是否部署driver程序在worker节点上还是在client主机上。

    [client]
    driver运行在client主机上。client可以不在cluster中。
    
    [cluster]
    driver程序提交给spark cluster的某个worker节点来执行。
    worker是cluster中的一员。
    导出的jar需要放置到所有worker节点都可见的位置(如hdfs)才可以。

    不论哪种方式，rdd的运算都在worker执行
    

部署模式验证

1.启动spark集群

2.编写测试类：

package com.mao.scala.scala.deployMode

import java.net.{InetAddress, Socket}

import org.apache.spark.{SparkConf, SparkContext}

object DeployModeTest {

  /**
    * 运行时将数据发送至某个服务器
    * @param str
    */
  def printInfo(str : String): Unit ={
    val ip = InetAddress.getLocalHost.getHostAddress
    val sock = new Socket("192.168.247.205", 8888)
    val out = sock.getOutputStream
    out.write((ip + " : " + str + "\r\n").getBytes)
    out.flush()
    sock.close()
  }

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setAppName("deploy")
    //conf.setMaster("local[4]")  //本地模式
    //conf.setMaster("spark://s201:7077")  //spark集群模式
    conf.setMaster("yarn")    //yarn集群模式
    val sc  = new SparkContext(conf)
    printInfo("hello world");

    val  rdd1 = sc.parallelize(1 to 10,3)
    val rdd2 = rdd1.map(e =>{
      printInfo("rdd1 map: "+e)
      e * 2
    })
    val rdd3 = rdd2.repartition(2)
    val rdd4 = rdd3.map(e =>{
      printInfo("rdd3 map: "+e)
      e
    })
    val res = rdd4.reduce((a,b)=>{
      printInfo("rdd4 reduce : "+a+","+b)
      a+b
    })
    printInfo("driver : " + res + "")
  }
}

3.打包
        jar
        对于cluster部署模式，必须要将jar放置到所有worker都能够看到的地方才可以，例如hdfs。

4.将jar包上传到spark master服务器

5.提交job到spark集群

#客户端模式运行
spark-submit --class com.mao.scala.scala.deployMode.DeployModeTest --master  spark://s201:7077 --deploy-mode client scalaDemo-1.0-SNAPSHOT.jar

#分发jar到所有节点的相同目录下，在spark集群运行
spark-submit --class com.mao.scala.scala.deployMode.DeployModeTest --master  spark://s201:7077 --deploy-mode cluster scalaDemo-1.0-SNAPSHOT.jar

#上传jar到hdfs,使用hdfs上的文件运行
hdfs dfs -put  scalaDemo-1.0-SNAPSHOT.jar /user/admin/
spark-submit --class com.mao.scala.scala.deployMode.DeployModeTest --master  spark://s201:7077 --deploy-mode cluster hdfs://s201:8020/user/admin/scalaDemo-1.0-SNAPSHOT.jar

 

spark集群的运行方式

主要是cluster manager的区别。

    local
    [standalone]
        使用SparkMaster进程作为管理节点.

    [mesos]
        使用mesos的master作为管理节点。

    [yarn]
        使用hadoop的ResourceManager作为master节点。不用spark的master.
        不需要启动spark-master节点。也不需要。
        
        确保HADOOP_CONF_DIR和YARN_CONF_DIR环境变量指向了包含了hadoop配置文件的目录。
        这些文件确保向hdfs写入数据并且连接到yarn的resourcemanager.这些配置分发到yarn集群，
        确保所有节点的配置是一致的。配置中设置的所有属性确保所有节点都能找到。

        在yarn上运行spark应用，可以采用两种部署模式。cluster:driver运行在appmaster进程中。
        client:driver运行在client进程中，AppMaster只用于请求资源。

        yarn模式    ：--master yarn(yarn-site.xml)
        standalone    : --master spark://s2001:7077
        mesos        : --master mesos//xxx:xxx

spark job 提交到yarn 集群

1.从hadoop/etc/hadoop 复制core-site.xml yarn-site.xml 到spark/conf

2.修改/soft/sparl/conf/spark-env.sh

export HADOOP_CONF_DIR=/soft/hadoop/etc/hadoop
export SPARK_EXECUTOR_INSTANCES=3
export SPARK_EXECUTOR_CORES=1

3.将spark的jars文件放到hdfs上（减少job运行时间）

hdfs dfs -mkdir -p /user/centos/spark/jars
hdfs dfs -put  /soft/spark/jars/*  /user/centos/spark/jars

 4.配置spark属性文件

[/spark/conf/spark-default.conf]
spark.yarn.jars hdfs://mycluster/user/centos/spark/jars/*

 5.提交

#yarn + cluster模式（此模式与spark集群无关）
spark-submit --class com.mao.scala.scala.deployMode.DeployModeTest --master yarn --deploy-mode cluster  hdfs://mycluster/user/admin/scalaDemo-1.0-SNAPSHOT.jar

#yarn + client 模式（此模式与spark集群无关）
spark-submit --class com.mao.scala.scala.deployMode.DeployModeTest --master yarn --deploy-mode client scalaDemo-1.0-SNAPSHOT.jar

 yarn + client 模式异常记录：

Exception in thread "main" org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.
	at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.waitForApplication(YarnClientSchedulerBackend.scala:89)
	at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:63)
	at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:164)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:500)
	at com.mao.scala.scala.deployMode.DeployModeTest$.main(DeployModeTest.scala:23)
	at com.mao.scala.scala.deployMode.DeployModeTest.main(DeployModeTest.scala)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
	at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:894)
	at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:198)
	at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:228)
	at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:137)
	at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

原因： 虚拟内存的实际值超过了设置的值，即虚拟内存超限，contrainer被结束，容器没有了，肯定失败

解决办法：停止yarn集群，在hadoop的yarn-site.xml文件增加如下配置，然后重启yarn集群

<!--以下为解决spark-shell 以yarn client模式运行报错问题而增加的配置,估计spark-summit也会有这个问题。2个配置只用配置一个即可解决问题，当然都配置也没问题-->
<!--虚拟内存设置是否生效,若实际虚拟内存大于设置值 ,spark 以client模式运行可能会报错,"Yarn application has already ended! It might have been killed or unable to l"-->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
    <description>Whether virtual memory limits will be enforced for containers</description>
</property>
<!--配置虚拟内存/物理内存的值，默认为2.1,物理内存默认应该是1g，所以虚拟内存是2.1g-->
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4</value>
    <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
</property>