当使用spark-submit提交自己写的代码时,不可以使用local:///来指定自己的python位置
否则出现upload xxx.py failed
这是因为这个python文件需要在这个镜像的里面得有个备份,然后再启用spark-submit分派到各个pod进行运行
所以,我使用了一个httpd服务器,去csdn上看看怎么配置的,然后记住开个777 balabala啥的权限让你能在网页上看到就行。
然后使用spark-submit提交,命令如下
bin/spark-submit \
--name SparkPi \
--master k8s://http://xxx:9000 \
--deploy-mode cluster \
--conf spark.network.timeout=300 \
--conf spark.executor.instances=3 \
--conf spark.kubernetes.namespace=spark-cluster \
--conf spark.kubernetes.container.image.pullPolicy=IfNotPresent \
--conf spark.kubernetes.container.image=xxx镜像库/spark-py:v3.4.0 \
--conf spark.kubernetes.authenticate.driver.serviceAccountName=sparkdw \
--conf spark.kubernetes.authenticate.executor.serviceAccountName=sparkdw \
--jars local:///opt/spark/jars/RoaringBitmap-0.9.38.jar \
--conf spark.kubernetes.file.upload.path='local:///opt/spark/tmp' \ --这应该可用可以不用
http://xxxx/code/rdd.py --重要的是这里