本文档详细介绍了如何在Python程序中通过conf配置连接Spark on Kubernetes，以client模式创建SparkSession。在运行过程中可能会遇到找不到pyspark模块、S3AFileSystem类未找到以及Amazon S3访问权限错误等问题，文中给出了相应的解决办法，包括添加环境变量、引入jar包和配置S3 endpoint。
我们在之前的文章中已经尝试了使用spark on k8s。
hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 client mode提交python程序和运行pyspark
不过 使用的方式 是spark-submit 或者 pyspark 来启动 spark on k8s。
但是 一般 我们进行业务编程，都会 有其他的处理逻辑， 然后在 处理逻辑的一部分 才会调用 spark进行处理。
也就是说 我们需要在 程序内部去调用spark，而不是 在外部 通过shell等命令来提交。
如果我们使用的是 python，则需要在python程序中能够通过conf来创建sparkSession来使用。
本篇文章来记录 如何在 python程序中 配置conf连接 spark on k8s创建sparkSession来调用。
运行python的程序 需要与spark on k8s有很好的连通性，所以我们还是使用client 模式，使用k8s中的一个pod作为driver进行提交。
那么 我们还是在之前文章 的基础上进行 后续步骤。
详情参考
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
