【云原生】Spark on k8s 讲解与实战操作

最新推荐文章于 2024-07-02 11:56:48 发布
最新推荐文章于 2024-07-02 11:56:48 发布
阅读量1.2k 收藏 6
点赞数
分类专栏： # Spark 文章标签： 云原生 kubernetes 大数据
原文链接：https://www.cnblogs.com/liugp/p/16794882.html
版权

一、概述

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

官方文档：Overview - Spark 3.3.0 Documentation
Spark on k8s官方文档：Running Spark on Kubernetes - Spark 3.3.0 Documentation

在这里插入图片描述

 二、开始 Spark on k8s 运行原理

在这里插入图片描述

spark-submit 可以直接用于向Kubernetes集群提交spark应用程序。提交机制的工作原理如下：

  • Spark创建一个Spark driver 在Kubernetes pod 运行。
  • driver 程序创建也在Kubernetes pods中运行的执行器，并连接到它们，然后执行应用程序代码。
  • 当应用程序完成时，执行程序pod将终止并被清理，但驱动程序pod会保存日志并在Kubernetes API中保持“已完成”状态，直到最终进行垃圾收集或手动清理。

 三、Spark 运行模式

  • Client ：客户端进程，负责提交作业到Master。
  • Master ：Standalone模式中主控节点，负责接收Client提交的作业，管理Worker，并命令Worker启动Driver和Executor。
  • Worker ：Standalone模式中slave节点上的守护进程，负责管理本节点的资源，定期向Master汇报心跳，接收Master的命令，启动Driver和Executor。
  • Driver ： 一个Spark作业运行时包括一个Driver进程，也是作业的主进程，负责作业的解析、生成Stage并调度Task到Executor上。包括 DAGScheduler ， TaskScheduler 。

1）cluster 模式

在这里插入图片描述

  1. Driver程序在某个worker节点，但是这个节点由Master指定；
  2. Driver程序占据Worker的资源；
  3. cluster mode下Master可以使用–supervise对Driver进行监控，如果Driver挂了可以自动重启；
  4. cluster mode下Master节点和Worker节点一般不在同一局域网，因此就无法将Jar包分发到各个Worker，所以cluster mode要求必须提前把Jar包放到各个Worker节点对应的目录下面。

2）client 模式

在这里插入图片描述

  1. Driver进程就是开始执行你Spark程序的那个Main函数，它可以在任何节点(可以是spark集群内的节点,Master节点或Worker节点;也可以是有spark环境但不是spark集群内的某台机器)；Worker就是Slave节点，Executor进程必然在Worker节点上，用来进行实际的计算；
  2. client mode下Driver进程不运行在Worker节点上，所以相对于参与实际计算的Worker节点而言，Driver就相当于是一个第三方的“client”；
  3. 正由于Driver进程不在Worker节点上，所以不会消耗Worker节点上的资源；
  4. client mode下Master和Worker节点必须处于同一片局域网内，因为Drive要和Executor通信，例如Driver需要将Jar包通过Netty HTTP分发到Executor，Driver要给Executor分配任务等；
  5. client mode下没有监督重启机制，Driver进程如果挂了，需要额外的程序重启。

 四、开始Spark on k8s 编排

1）下载Spark包

wget https://dlcdn.apache.org/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.tgz
tar -xf spark-3.3.0-bin-hadoop3.tgz
export SPARK_HOME=/opt/bigdata/servers/spark/spark-3.3.0-bin-hadoop3

2）构建镜像

Spark（从2.3版开始）附带了一个Dockerfile，可以在kubernetes/dockerfiles/目录中找到它。

在这里插入图片描述

Spark还附带一个构建和push镜像的脚本 bin/docker-image-tool.sh。构建镜像命令如下：


cd $SPARK_HOME
# 构建镜像
# -p ./kubernetes/dockerfiles/spark/Dockerfile，-p 指定Dockerfile
$SPARK_HOME/bin/docker-image-tool.sh -r myharbor.com/bigdata -t 3.3.0-hadoop3 build  build
# push
$SPARK_HOME/bin/docker-image-tool.sh -r myharbor.com/bigdata -t 3.3.0-hadoop3 push

3）配置 spark 用户权限

kubectl create ns spark
kubectl create serviceaccount spark -n spark
kubectl create clusterrolebinding spark-role --clusterrole=edit --serviceaccount=spark:spark
##在spark-submit中添加
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark

4）提交 Spark 任务（cluster 模式）

# 查看k8s apiserverl：kubectl cluster-info
cd $SPARK_HOME
./bin/spark-submit \
    --master k8s://https://192.168.182.110:6443 \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=5 \
    --conf spark.kubernetes.namespace=spark \
    --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
    --conf spark.kubernetes.container.image=myharbor.com/bigdata/spark:3.3.0-hadoop3 \
    local:///opt/spark/examples/jars/spark-examples_2.12-3.3.0.jar

在这里插入图片描述 

【注意】这里的 local:///opt/spark/examples/jars/spark-examples_2.12-3.3.0.jar 指的是 容器的文件系统路径，不是执行 spark-submit 的机器的文件系统路径，如果不使用 local 的话，也可以用 HTTP、HDFS 等系统，没指定的话默认是 local 模式 

5）配置spark历史服务器

这里依赖与Hadoop hdfs环境，Hadoop on k8s环境部署可以参考我以下两篇文章：

存储目录需要提前创建

kubectl exec -it hadoop-hadoop-hdfs-dn-0 -n hadoop -- bash
hdfs dfs -mkdir  hdfs://hadoop-hadoop-hdfs-nn.hadoop:9000/sparkhistory
hdfs dfs -chmod 777  hdfs://hadoop-hadoop-hdfs-nn.hadoop:9000/sparkhistory

spark-history.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: spark-history-server
spec:
  selector:
    matchLabels:
      run: spark-history-server
  replicas: 1
  template:
    metadata:
      labels:
        run: spark-history-server
    spec:
      containers:
        - image: myharbor.com/bigdata/spark:3.3.0-hadoop3
          name: spark-history-server
          args: ["/opt/spark/bin/spark-class", "org.apache.spark.deploy.history.HistoryServer"]
          ports:
            - containerPort: 18080
              name: http
          env:
          - name: SPARK_HISTORY_OPTS
            value: "-Dspark.history.fs.logDirectory=hdfs://hadoop-hadoop-hdfs-nn.hadoop:9000/sparkhistory"

---

apiVersion: v1
kind: Service
metadata:
  name: spark-hs-svc
spec:
  ports:
  - port: 18080
    protocol: TCP
    targetPort: 18080
    nodePort: 31180
  selector:
    run: spark-history-server
  type: NodePort
status:
  loadBalancer: {}

执行

kubectl apply -f spark-history.yaml -n spark

在这里插入图片描述

web：http://192.168.182.110:31180 

在这里插入图片描述

再提交任务 

# 增加配置项：
# --conf spark.eventLog.enabled=true \
# --conf spark.eventLog.dir=hdfs://hadoop-hadoop-hdfs-nn.hadoop:9000/sparkhistory \
cd $SPARK_HOME
./bin/spark-submit \
    --master k8s://https://192.168.182.110:6443 \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=5 \
    --conf spark.kubernetes.namespace=spark \
    --conf spark.eventLog.enabled=true \
    --conf spark.eventLog.dir=hdfs://hadoop-hadoop-hdfs-nn.hadoop:9000/sparkhistory \
    --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
    --conf spark.kubernetes.container.image=myharbor.com/bigdata/spark:3.3.0-hadoop3 \
    local:///opt/spark/examples/jars/spark-examples_2.12-3.3.0.jar

### jar放在hdfs
kubectl cp examples/jars/spark-examples_2.12-3.3.0.jar hadoop/hadoop-hadoop-hdfs-dn-0:/tmp/ -n hadoop
kubectl exec -it hadoop-hadoop-hdfs-dn-0 -n hadoop -- bash
hdfs dfs -put /tmp/spark-examples_2.12-3.3.0.jar hdfs://hadoop-hadoop-hdfs-nn.hadoop:9000/sparkhistory/
cd $SPARK_HOME
./bin/spark-submit \
    --master k8s://https://192.168.182.110:6443 \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=5 \
    --conf spark.kubernetes.namespace=spark \
    --conf spark.eventLog.enabled=true \
    --conf spark.eventLog.dir=hdfs://hadoop-hadoop-hdfs-nn.hadoop:9000/sparkhistory \
    --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
    --conf spark.kubernetes.container.image=myharbor.com/bigdata/spark:3.3.0-hadoop3 \
    hdfs://hadoop-hadoop-hdfs-nn.hadoop:9000/sparkhistory/spark-examples_2.12-3.3.0.jar

在这里插入图片描述

6）提交 Spark 任务（client 模式） 

从Spark 2.4.0开始，可以在客户端模式下在Kubernetes上运行Spark应用程序。当应用程序在客户端模式下运行时，驱动程序可以在k8s pod或物理主机上运行。

在这里插入图片描述

1、配置 spark 用户权限

# 上面已经配置，这里可以忽略
kubectl create ns spark
kubectl create serviceaccount spark -n spark
kubectl create clusterrolebinding spark-role --clusterrole=edit --serviceaccount=spark:spark
##在spark-submit中添加
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark

2、准备独立Pod

配置 spark 容器，会在这个容器里以 client 模式 submit spark 程序，所以这个容器也会作为 driver。
spark-client-deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: spark-client
spec:
  replicas: 1
  selector:
    matchLabels:
      app: spark-client
      component: spark-client
  template:
    metadata:
      labels:
        app: spark-client
        component: spark-client
    spec:
      containers:
      - name: spark-client
        image: myharbor.com/bigdata/spark:3.3.0-hadoop3
        workingDir: /opt/spark
        command: ["/bin/bash", "-c", "while true;do echo spark-client;sleep 6000;done"]
      serviceAccountName: spark

3、暴露service

我们任意指定一个端口暴露，后续client mode将通过去DNS去查找Driver Pod的位置，这也是Spark on k8s要求DNS的原因。
spark-client-service.yaml

执行

kubectl apply -f spark-client-deployment.yaml -n spark
kubectl apply -f spark-client-service.yaml -n spark
kubectl get pods -n spark

4、提交 spark 任务

cd $SPARK_HOME
./bin/spark-submit \
    --master k8s://https://192.168.182.110:6443 \
    --deploy-mode client \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=3 \
    --conf spark.kubernetes.namespace=spark \
    --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
    --conf spark.kubernetes.container.image=myharbor.com/bigdata/spark:3.3.0-hadoop3 \
    --conf spark.driver.host=spark-client-service  \
    --conf spark.driver.port=7321 \
    file:///opt/bigdata/servers/spark/spark-3.3.0-bin-hadoop3/examples/jars/spark-examples_2.12-3.3.0.jar

CN-FuWei
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark on k8s 实战操作
anguoan的博客
12-09 508
Spark on k8s 实战操作
Spark On K8S
linclaus的博客
03-01 593
部署流程： 下载spark环境包https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz 切换目录至根目录：cd spark-2.4.4-bin-hadoop2.7 builddocker应用程序镜像及push至repo：docker build -t xxx/spark:2.4.4...
Spark on k8s 的安装和使用-大数据学习系列（六）
zhenwudi的专栏
05-31 1426
与 Kubernetes API 的通信是通过 fabric8 完成的可以通过使用配置属性的节点选择器在可用节点的子集上安排驱动程序和执行程序 pod，在未来的版本中将有可能使用更高级的调度提示，如节点/pod 亲和力。Spark 还附带一个 bin/docker-image-tool.sh 脚本，可用于构建和发布 Docker 镜像以与 Kubernetes 后端一起使用，用于构建和上传镜像。spark-submit 可以直接用于将 Spark 应用程序提交到 Kubernetes 集群。
spark on k8s两种方式的原理与对比
最新发布
lhyandlwl的博客
07-02 866
Spark on k8s Operator 更适合大规模、需要自动化和集中管理的场景。它利用 Kubernetes 的原生功能，实现自动化管理和配置集中化，虽然增加了一些复杂性，但在动态和多租户环境中表现出色。Spark on k8s 适合简单、直接的 Spark 作业提交和管理场景，特别是对于那些已有 Spark 使用经验的用户。它操作简便，无需额外组件，灵活性较高。但在大规模和自动化需求较高的场景中，管理和扩展的能力相对较弱。
spark on k8s
liudongyang123的博客
02-25 2841
spark从2.3之后开始 在包里面有docker 镜像脚本。 本文主要介绍2.x的镜像打包已经在k8s中怎么去部署spark，3.x的目前自己还没有测试成功，目前3.0自己遇到的问题是在k8s启动后，会提示没有权限创建logs目录。 1.到spark官网中下载2.x的spark，我下载的是spark-2.4.8-bin-hadoop2.6 spark下载https://archive.apache.org/dist/spark/2.解压spark-2.4.8-bin-hadoop2.6 3..
大数据之spark on k8s
lhyandlwl的博客
12-19 7533
大数据之spark on k8s spark on k8s架构解析 1.k8s的优点 k8s是一个开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。 1、故障迁移 2、资源调度 3、资源隔离 4、负载均衡 5、跨平台部署 2.k8s集群架构 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-itzEKPaJ-1639903124654)(F:\桌面\image.png)] Master Node k8s 集群控制节点，对集群进行调度管理，接受集群外用
Apache Spark on K8s的安全性和性能优化
weixin_30871905的博客
10-19 174
前言 Apache Spark是目前最为流行的大数据计算框架，与Hadoop相比，它是替换MapReduce组件的不二选择，越来越多的企业正在从传统的MapReduce作业调度迁移到Spark上来，Spark的生态圈支持者越来越多，当然它出众的内部API设计，让它也非常容易和现有既成事实的Hadoop组件（YARN/HDFS）集成。 容器技术的兴起，各种分布式的...
Spark On K8s实战教程分享
06-05
当 Spark 任务运行在 K8s 上时，无论是 Driver 还是 Executor 都由一个单独的 Pod 来表示。每个 Pod 都被分配了一个唯一的 IP 地址，并且可以包含一个或多个容器（Container）。Driver 和 Executor 的 JVM 进程都是...
K8S云原生技术与实战
05-31
K8S云原生技术与实战
云原生 k8s HPA components.yaml
03-06
云原生 k8s HPA components.yaml，搭建metrics server环境，适用于外网下载不到文件的小伙伴，镜像仓库地址已改为阿里云国内镜像，必要的配置也已配置完成，助你快速完成metrics server环境搭建。云原生 k8s HPA ...
云原生+k8s+面试题集锦+128题
10-25
需要面试k8s相关岗位的小朋友来取，增加面试过关率
云原生-k8s操作文档
11-06
《云原生-k8s操作文档》集合了多个关于Kubernetes（k8s）的关键知识点，旨在帮助读者深入了解和操作这个强大的容器编排系统。以下是对每个文件内容的详细概述： 1. **01.k8s集群安装.pdf**：这份文档详细介绍了如何...
云原生架构设计与实现：Spark 在 K8s 上运行的基本原理
muliangsheng1988的博客
12-15 1548
下图展示了 spark-k8s-cli 的提交和运行原理。使用 spark-k8s-cli 在我们的生产环境中，我们使用 spark-k8s-cli 来提交任务。它融合了 spark-submit 和 spark-operator 两种作业提交方式的优点，所有作业都能通过 spark-operator 管理，并支持交互式 spark-shell 和本地依赖的提交。通过这些增强和定制化功能，spark-k8s-cli 不仅提高了 Spark 作业在 K8s 上的运行效率，也提升了整个系统的稳定性和可管理性。
Flink On K8S终极实现方案
微信搜：import_bigdata，大数据领域硬核原创作者
12-15 1340
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！Flink作为新一代的大数据处理...
Spark on K8S
wuxiaobingandbob的专栏
09-22 706
http://spark.apache.org/docs/latest/cluster-overview.html  
Spark On K8s实践：K8s环境准备与测试
homeofcm的专栏
06-06 908
本文介绍Spark On K8s的环境准备工作，并通过一个示例来演示如何提交Spark程序到K8s运行。​要将Spark On K8s真正应用到生产环境，还需要掌握其他更多的知识，例如Spark日志的持久化、Spark程序的监控，Spark程序的高可靠运行、Spark SQL On K8s以及与Hadoop、S3、JuiceFS和CDH集成等内容，这些内容在 bigdataonk8s.com 里有详细的讲解和说明，大家可以前往观看学习。
Spark on K8s -- statefulset
littlePYR的博客
02-18 1415
我们知道现在已经release的spark版本中，spark on K8s的实现，是将driver和executor作为pod跑在K8s中，但是目前spark已经实现了将executor作为statefulsets跑在K8s中，只不过还处于开发阶段，有一些细节还在完善中。但是博主已经在自己的环境中尝试过了，已经可以成功的运行一个spark application，相信这个功能应该能很快上线。本文这里就针对这个功能的实现做一些介绍。 主要参考链接：[SPARK-36058][K8S]: https://git
TalkingData的Spark On Kubernetes实践
weixin_34290352的博客
05-23 123
2019独角兽企业重金招聘Python工程师标准>>> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值