qq_42506914的博客

YarnCluster运行模式,把资源调度交给Yarn来管理,而且driver运行的节点是由Rm来选择节点运行的。通过sparksubmit提交，会运行SparkSubmit这个类SparkSubmit 的main方法def main(args: Array[String]): Unit = { //封装传进来的参数 val appArgs = new SparkSubmit...

上次说到yarnClient 把 命令行 和 容器信息 提交到RM 运行AM首先 看AM的main方法def main(args: Array[String]): Unit = { SignalUtils.registerLogger(log) val amArgs = new ApplicationMasterArguments(args) 。。。 S...

上一阶段 在nm上运行了 CoarseGrainedExecutorBackend （消息通讯体），其实就是和dirver的CoarseGrainedSchedulerBackend 来通讯的CoarseGrainedExecutorBackend 的main方法run(driverUrl, executorId, hostname, cores, appId, worker...

yarn-client 模式 SparkSubmit 的main 方法 main() submit(appArgs) //这里的childMainClass 是 userclass ...

object HighKafkaSource2 { def main(args: Array[String]): Unit = { //这种方式每次都是new 的 // offset保存并没有起效果 //造成每次消费都是从最新的开始读 初始化找不到初始化的offset //默认使用的是最新的 可配置 val conf: SparkConf = n...

写了两套方法，一套保存在zk上，一套保存在mysql里面/** * @author wade * @create 2019-03-14 9:16 */object LowerKafkaSource { def fromOffsets(kafkaCluster: KafkaCluster, groupId: String, topic: String): Map[T...

当Spark Streaming的代码修改后启动时(directStream的高级api,信息保存在ck中)，反序列化Checkpoint目录中的数据失败，所以Kafka offset会丢失，此时不知道从哪里消费Kafka的数据，所以我们要将Kafka offset保存到ZooKeeper中一份，当Spark Streaming优雅停止后，删除Checkpoint目录然后从ZooK...

一个 Streaming Application 往往需要7*24不间断的跑，所以需要有抵御意外的能力（比如机器或者系统挂掉，JVM crash等）。为了让这成为可能，Spark Streaming需要 Checkpoint 足够多信息至一个具有容错设计的存储系统才能让Driver 从失败中恢复。Spark Streaming 会 Checkpoint 两种类型的数据。Metadata（元数据...

注意最后为什么使用了 rdd 的foreachPartition()package day5.KafkaSourceimport java.sql.{Connection, PreparedStatement}import kafka.serializer.StringDecoderimport org.apache.kafka.clients.consumer.Consum...