Pyspark：使用spark-submit运行文件时执行Jupyter命令时出错

最新推荐文章于 2022-10-19 13:24:47 发布

buerba

最新推荐文章于 2022-10-19 13:24:47 发布

阅读量686

点赞数 1

文章标签： python spark

本文链接：https://blog.csdn.net/buerba/article/details/110821951

版权

运行pyspark并在Jupyter笔记本上运行脚本。但是，当我尝试使用spark-submit从终端运行文件时，出现以下错误：
Error executing Jupyter command file path [Errno 2] No such file or directory
在这里插入图片描述
解决方法：
发生这些问题是因为您已将jupyter设置为运行pyspark脚本。现在，您应该取消设置PYSPARK_DRIVER_PYTHON相同的变量命令，$ unset PYSPARK_DRIVER_PYTHON然后再次尝试spark-submit 提交。