sparkStreaming的driver高可用ha

最新推荐文章于 2022-01-14 13:24:55 发布
最新推荐文章于 2022-01-14 13:24:55 发布
阅读量486 收藏 1
点赞数
分类专栏： spark 文章标签： sparkStreaming的driver高可用ha
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/C_time/article/details/103103386
版权

代码

package com.sparkStreaming.Demo10_HA

import org.apache.spark.SparkContext
import org.apache.spark.sql.SparkSession
import org.apache.spark.storage.StorageLevel
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.dstream.DStream

/**
 * Created by Shi shuai RollerQing on 2019/11/16 14:23
 *
 * SparkStreaming应用之Driver进程的高可用HA
 */
object DriverHADemo {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession
      .builder()
      .appName(DriverHADemo.getClass.getSimpleName)
      .getOrCreate()
    val sc : SparkContext = spark.sparkContext
    //      .master("local[*]") //这个要打包到集群 这个就不用了

    val ck = "/spark-streaming/ck_ha"
//    val ck = "D:\\installs\\SparkStreamingTest\\data"

    val ssc : StreamingContext = StreamingContext.getOrCreate(ck, () => {
      val tmpSsc: StreamingContext = new StreamingContext(sc, Seconds(2))

      tmpSsc.checkpoint(ck)

      val ds: DStream[(String, Int)] = tmpSsc.socketTextStream("hadoop01", 8888, StorageLevel.MEMORY_ONLY)
        .flatMap(_.split("\\s+")) //     \\s表示 空格,回车,换行等空白符,+号表示一个或多个的意思,所以...
        .map((_, 1))
        .reduceByKey(_ + _)
      ds.print

      tmpSsc
    })
    ssc.start
    ssc.awaitTermination
  }
}

打包

这个pom文件很重要 整体文件贴到下面
然后这里贴上自己认为重要的

            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                        <configuration>
                            <args>
                                <arg>-dependencyfile</arg>
                                <arg>${project.build.directory}/.scala_dependencies</arg>
                            </args>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <plugin> <!-- 程序打包 -->
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration> <!-- 过滤掉以下文件，不打包 ：解决包重复引用导致的打包错误-->
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers> <!-- 打成可执行的jar包 的主方法入口-->
                                <!-- intellij idea打成的jar运行的时候没有找到hdfs类型的文件系统 :修改maven项目的pom文件,手动指定-->
                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                     
                                    <resource>META-INF/services/org.apache.hadoop.fs.FileSystem</resource>
                                </transformer>

                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass></mainClass>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

我运行的时候 有错误 遇到了 Exception in thread “main” java.io.IOException: No FileSystem for scheme: spark 未解决
但最后莫名其妙解决了

命令

./bin/spark-submit \
--class com.sparkStreaming.Demo10_HA.DriverHADemo \
--master spark://hadoop01:7077 \
--deploy-mode cluster \
--supervise \
hdfs://hadoop01:8020/spark-streaming/submitjars/ninthTest.jar

但是上面的命令是改了好多次的 才跑对 草稿命令贴到最后了吧

效果

找到DriverWrapper进程 在第三台节点
在这里插入图片描述
去hadoop03 kill它 然后查看 嗯？ 怎么没了 ？
在这里插入图片描述
查看全部进程
原来复活后跑到第二台节点了
在这里插入图片描述

这个图貌似不太对
在这里插入图片描述

注意

因为不能通过kill 杀死
所以需要到UI界面 spark的8080端口 去kill掉该application
下图为kill完的截图
在这里插入图片描述

草稿

./bin/spark-submit \
--class com.sparkStreaming.Demo10_HA.DriverHADemo\
--master spark://hadoop01:7077 \
--deploy-mode cluster \
--jars /usr/local/hadoop-2.7.1/share/hadoop/hdfs/*.jar /usr/local/spark-2.2.0-bin-hadoop2.7/jars/*.jar /usr/local/hadoop-2.7.1/share/hadoop/common/*.jar \
--supervise \
/home/sparkjar/sixthTest.jar



./bin/spark-submit \
--class com.sparkStreaming.Demo10_HA.DriverHADemo\
--master spark://hadoop01:7077 \
--deploy-mode cluster \
--supervise \
hdfs://hadoop01:8020/spark-streaming/submitjars/thirdTest.jar


./bin/spark-submit \
--class com.sparkStreaming.Demo10_HA.DriverHADemo \
--master spark://hadoop01:7077 \
--deploy-mode cluster \
--supervise \
hdfs://hadoop01:8020/spark-streaming/submitjars/ninthTest.jar

/spark-streaming/submitjars/ninthTest.jar

hdfs://qf/spark-streaming/ck_ha/


<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>spark</groupId>
    <artifactId>SparkStreamingTest2</artifactId>
    <version>1.0-SNAPSHOT</version>
    <inceptionYear>2008</inceptionYear>
    <properties>
        <scala.version>2.11.8</scala.version>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <encoding>UTF-8</encoding>
        <spark.version>2.2.0</spark.version>
        <hadoop.version>2.7.1</hadoop.version>
        <scala.compat.version>2.11</scala.compat.version>
    </properties>


    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>${spark.version}</version>
            <!--            <scope>provided</scope>-->
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>${spark.version}</version>
            <!--            <scope>provided</scope>-->
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.scala-tools/maven-scala-plugin -->
        <dependency>
            <groupId>org.scala-tools</groupId>
            <artifactId>maven-scala-plugin</artifactId>
            <version>2.11</version>
        </dependency>
    </dependencies>

    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <testSourceDirectory>src/test/scala</testSourceDirectory>
        <plugins>
            <plugin>
                <groupId>org.scala-tools</groupId>
                <artifactId>maven-scala-plugin</artifactId>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
                <configuration>
                    <scalaVersion>${scala.version}</scalaVersion>
                    <args>
                        <arg>-target:jvm-1.8</arg>
                    </args>
                </configuration>
            </plugin>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                        <configuration>
                            <args>
                                <arg>-dependencyfile</arg>
                                <arg>${project.build.directory}/.scala_dependencies</arg>
                            </args>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <plugin> <!-- 程序打包 -->
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration> <!-- 过滤掉以下文件，不打包 ：解决包重复引用导致的打包错误-->
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers> <!-- 打成可执行的jar包 的主方法入口-->
                                <!-- intellij idea打成的jar运行的时候没有找到hdfs类型的文件系统 :修改maven项目的pom文件,手动指定-->
                                <transformer implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                    <resource>META-INF/services/org.apache.hadoop.fs.FileSystem</resource>
                                </transformer>

                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass></mainClass>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
<!--            <plugin>-->
<!--                <groupId>org.apache.maven.plugins</groupId>-->
<!--                <artifactId>maven-compiler-plugin</artifactId>-->
<!--                <version>2.3.2</version>-->
<!--                <configuration>-->
<!--                    <encoding>UTF-8</encoding>-->
<!--                    <source>1.8</source>-->
<!--                    <target>1.8</target>-->
<!--                    <showWarnings>true</showWarnings>-->
<!--                </configuration>-->
<!--            </plugin>-->
<!--            <plugin>-->
<!--                <artifactId>maven-assembly-plugin</artifactId>-->
<!--                <configuration>-->
<!--                    <descriptorRefs>-->
<!--                        <descriptorRef>jar-with-dependencies</descriptorRef>-->
<!--                    </descriptorRefs>-->
<!--                    <archive>-->
<!--                        <manifest>-->
<!--                            &lt;!&ndash;<mainClass></mainClass>&ndash;&gt;-->
<!--                        </manifest>-->
<!--                    </archive>-->
<!--                </configuration>-->
<!--                <executions>-->
<!--                    <execution>-->
<!--                        <id>make-assembly</id>-->
<!--                        <phase>package</phase>-->
<!--                        <goals>-->
<!--                            <goal>single</goal>-->
<!--                        </goals>-->
<!--                    </execution>-->
<!--                </executions>-->
<!--            </plugin>-->
<!--            <plugin>-->
<!--                <groupId>org.apache.maven.plugins</groupId>-->
<!--                <artifactId>maven-shade-plugin</artifactId>-->
<!--                <version>2.4.2</version>-->
<!--                <executions>-->
<!--                    <execution>-->
<!--                        <phase>package</phase>-->
<!--                        <goals>-->
<!--                            <goal>shade</goal>-->
<!--                        </goals>-->
<!--                        <configuration>-->
<!--                            <filters>-->
<!--                                <filter>-->
<!--                                    <artifact>*:*</artifact>-->
<!--                                    <excludes>-->
<!--                                        <exclude>META-INF/*.SF</exclude>-->
<!--                                        <exclude>META-INF/*.DSA</exclude>-->
<!--                                        <exclude>META-INF/*.RSA</exclude>-->
<!--                                    </excludes>-->
<!--                                </filter>-->
<!--                            </filters>-->
<!--                            <transformers>-->
<!--                                <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>-->
<!--                            </transformers>-->
<!--                        </configuration>-->
<!--                    </execution>-->
<!--                </executions>-->
<!--            </plugin>-->
        </plugins>
    </build>


    <reporting>
        <plugins>
            <plugin>
                <groupId>org.scala-tools</groupId>
                <artifactId>maven-scala-plugin</artifactId>
                <configuration>
                    <scalaVersion>${scala.version}</scalaVersion>
                </configuration>
            </plugin>
        </plugins>
    </reporting>
</project>
C_time
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据Spark“蘑菇云”项目实战第63课： 广告点击系统高可用性和性能优化 checkpoint wal driver高可用 并行度配置
段智华的博客
10-22 910
大数据Spark“蘑菇云”项目实战第63课： 广告点击系统高可用性和性能优化   1, 对于window、updateStateByKey等DStream的状态操作，采用HDFS的checkpoint机制；   61课程：时间函数 62课程： 分层代码 63课程 高可用性 1、checkpoint 存放hdfs 2、 RDD高可用性，WAL  的高可用性  配置
Spark配置高可用（HA）
最新发布
2301_76348206的博客
04-30 684
面试题文档来啦，内容很多，485页！由于笔记的内容太多，没办法全部展示出来，下面只截取部分内容展示。
SparkStreaming关于Driver进程的高可用问题
洛云凡
11-16 412
SparkStreaming程序一旦启动之后，除非我们手动停止，否则会一直处于运行的状态。Driver只是一个简单的进程，在程序运行过程中，有可能挂掉，此时SparkStreaming应用会停止运行。 所以实现Driver的HA就有必要（如果使用的Client模式就无法实现Driver HA ，这里针对的是cluster模式）。 准备一段代码 package spark.SparkStre...
SparkStreaming03 Driver HA 配置
BF-Lone Silver Wind 的博客
01-01 205
Driver HA 这里指的是 Standalone或者Mesos框架的 cluster模式的配置 SparkStreaming是7*24小时(指不间断)运行，Driver只是一个简单的进程，有可能挂掉，所以实现Driver的HA就有必要 如果使用的是Client模式就无法实现Driver HA ，我们这里针对的是cluster模式。 Yarn平台的cluster模式提交任务，AM(A...
SparkStreaming部分：driver HA恢复旧数据的逻辑，Sparkstreaming+zookeeper模式维护消费者偏移量
wyqwilliam的博客
08-07 727
  package com.bjsxt.sparkstreaming; import java.util.Arrays; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.FlatMap...
sparkstreaming的driver高可用ha
04-06
Spark Streaming的Driver高可用可以通过以下方式实现： 1. 使用Spark的高可用模式，启用Zookeeper作为协调服务，然后将Spark Streaming的Driver注册到Zookeeper上。这样在Driver宕机时，Zookeeper会自动将任务转移...
Spark _30_SparkStreaming算子操作&Driver HA
乔治大哥的博客
11-17 434
SparkStreaming算子操作 foreachRDD output operation算子,必须对抽取出来的RDD执行action类算子，代码才能执行。 import org.apache.spark.rdd.RDD import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import...
SparkStreaming编程
wuyangcc的博客
04-17 490
0. SparkStreaming 流式计算简介 SparkStreaming实时处理入门案例 SparkStreaming和HDFS整合 SparkStreaming与Kafka整合 SparkStreaming常见transformation算子 SparkStreaming高可用及其优化建议 1. 流式计算简介 1.1. 流式计算 ​ 如何去理解流式计算，最形象的例子，就是小明的往水池中...
Spark streaming在可用性方面的改进
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
04-10 3691
Driver的容错性和可用性，在spark1.2发布版本中，spark streaming提供了HA机制
spark高可用集群（自动切换方式）搭建手册
03-29
spark高可用集群（自动切换方式）搭建手册，spark高可用集群（自动切换方式）搭建手册
spark driver HA
赵英超的博客
10-24 1274
实验环境：  zookeeper-3.4.6  Spark：1.6.0  简介：  本篇博客将从以下几点组织文章：  一：Spark 构建高可用HA架构  二：动手实战构建高可用HA  三：提交程序测试HA 一：Spark 构建高可用HA架构    Spark本身是Master和Slave,而这这里的  Master是指Spark资源调度和分配。负责整个集群的资源调度和分
Driver HA高可用 实现
yj2434的博客
11-06 177
Driver HA（Standalone 或者 Mesos） 因为 SparkStreaming 是 7*24 小时运行，Driver 只是一个简单的进程，有 可能挂掉，所以实现 Driver 的 HA 就有必要（如果使用的 Client 模式就无 法实现 Driver HA ，这里针对的是 cluster 模式）。Yarn 平台 cluster 模式 提交任务，AM(AplicationMaster)相当于 Driver，如果挂掉会自动启动 AM。这里所说的 DriverHA 针对的是 Spark sta
Spark高可用HA实战
LV_ZFG的博客
07-08 1317
zookeeper可以做让所有机器的状态同步或者做集群的全局配置 Spark高可用HA实战 active挂掉后集群切换流程：当集群的master的active挂掉之后，zookeeper会在standby的master中通过选举机制选择一台standby机器作为leader， 通过读取zookeeper中的元数据信息，恢复整个集群的状态，成功恢复之后才能作为整个集群的master（acti
spark环境安装之HA 高可用
weixin_43924642的博客
04-18 286
高可用部署说明 Spark Standalone 集群是 Master-Slaves 架构的集群模式，和大部分的 Master-Slaves 结构集群一样，存在着 Master 单点故障的问题。如何解决这个 单点故障的问题，Spark 提供了两种方案： （1）基 于 文 件 系 统 的 单 点 恢 复 (Single-Node Recovery with Local File System)。 主...
Spark HA高可用部署
weixin_39789340的博客
01-05 261
Spark HA高可用部署前言（*）基于文件系统的单点恢复功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 前言 Spark Standalone 集群是Master--Slaves架构的集群模式，和大部分的Master--Sla
大数据组件-Spark高可用架构部署
芝士味椒盐的博客
01-14 867
解压 sudo tar -zxf ~/download/spark-2.0.2-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local sudo mv ./spark-2.0.2-bin-without-hadoop/ ./spark sudo chown -R hadoop ./spark 配置环境变量 在Mster节点主机的终端中执行如下命令： vim ~/.bash_profile 在.bash_profile添加如下配置： exp
spark高可用， yarn
liziLove_fengmi的博客
12-28 239
1.配置spark-env.sh # 配置大哥;在二哥上面,MASTER_PORT=指的是自己 SPARK_MASTER_HOST=hadoop102 # 设置zookeepr,不能换行 SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop101:2181,...
Spark streaming实时计算程序的HA高可用
Johnson8702的博客
03-11 403
一、设置checkpoint目录 在程序中，如果用到了updateStateByKey、window等有状态的操作，自动进行checkpoint，必须设置checkpoint目录。 checkpoint目录：容错的文件系统的目录，比如说，HDFS jssc.checkpoint("xxxxxxx"); 设置完这个目录之后，有些会自动进行checkpoint操作的DStream，就实现了HA...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值