pyspark on yarn 出现 Cannot run program python3

已于 2022-09-19 16:15:01 修改
阅读量1.2k 收藏 1
点赞数 5
分类专栏： 踩坑记录 python 文章标签： spark 大数据 big data
于 2022-05-17 16:10:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41129489/article/details/124823829
版权

启动一个pyspark on yarn：

$ pyspark --master yarn
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 3.2.0
      /_/

Using Python version 3.8.12 (default, Nov 12 2021 08:41:47)
Spark context Web UI available at http://master:4041
Spark context available as 'sc' (master = yarn, app id = application_1652774608535_0001).
SparkSession available as 'spark'.
>>

提交一个任务：

>>> sc.parallelize([1,2]).map(lambda x:x*10).collect()

报错

 java.io.IOException: Cannot run program "python3": error=2, No such file or directory  
 ......

解决方法，添加环境变量：

export PYSPARK_PYTHON=$PYTHON_HOME/bin/python3

重启，成功执行
在这里插入图片描述

wonder-wall
关注
  • 5
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop-yarn-api-python-client:Hadoop:registered:YARN API的Python客户端
05-08
hadoop-yarn-api-python-client 适用于ApacheHadoop:registered:YARN API的Python客户端 软件包文档： REST API文档： 兼容性 库与Apache Hadoop 3.2.1兼容。 如果您使用的版本不是上述版本（或类似Hortonworks的供应商版本），则某些API可能无法正常工作或在实现上存在差异。 如果您打算长期使用某些API，则可能要确保其不在文档的Alpha阶段。 安装 从PyPI pip install yarn-api-client 从水蟒（conda forge） conda install -c conda-forge yarn-api-client 从源代码 pip install git+https://github.com/CODAIT/hadoop-yarn-api-python-client.git 启
Spark源码系列（七）Sparkonyarn具体实现
01-30
本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Spark onyarn的实现，1.0.0里面已经是一个stable的版本了，可是1.0.1也出来了，离1.0.0发布才一个月的时间，更新太快了，节奏跟不上啊，这里仍旧是讲1.0.0的代码，所以各位朋友也不要再问我讲的是哪个版本，目前为止发布的文章都是基于1.0.0的代码。在第一章《spark-submit提交作业过程》的时候，我们讲过Sparkonyarn的在cluster模式下它的main clas
Spark环境搭建——on yarn集群模式
01-07
本篇博客，Alice为大家带来关于如何搭建Spark的on yarn集群模式的教程。 文章目录准备工作cluster模式client模式[了解]两种模式的区别 官方文档: http://spark.apache.org/docs/latest/running-on-yarn.html 准备工作 安装启动Hadoop(需要使用HDFS和YARN，已经ok) 安装单机版Spark(已经ok) 注意：不需要集群，因为把Spark程序提交给YARN运行本质上是把字节码给YARN集群上的JVM运行，但是得有一个东西帮我去把任务提交上个YARN，所以需要一个单机版的Spark，里面的有spark-sh
Spark实验：On Yarn模式安装部署（带答案）1
08-03
1. 解压Spark安装包 2. 配置Hadoop生态组件相关环境变量 2. 在 master 节点上，关闭HDFS的安全模式： 3. 在 master 节点上
python报错：Error running XXX : Cannot run program“.....\python.exe“(in directory “项目文件地址“)....
wangxiaojie666666的博客
07-21 5073
python报错：Error running XXX : Cannot run program".
spark on yarn 运行任务提示java.io.IOException: Cannot run program “python3“: error=2, No such file or dire
最新发布
qq_36178165的博客
08-18 1422
spark on yarn 运行任务提示java.io.IOException: Cannot run program “python3“: error=2, No such file or dire
pyspark出现Java.io.IOException: Cannot run program “python“: CreateProcess error=2问题的解决办法
yujinlong2002的博客
03-19 3276
在centos7系统中，将spark运行在yarn上出现以下报错。$python ：python可执行文件的位置。1、可能是真没有python3的文件。下载python3并且设置环境变量。2、环境变量的配置出现问题。2、直接配置环境变量。
java.io.IOException: Cannot run program “python3“: CreateProcess error=2, 系统找不到指定的文件。
Chain的博客
12-01 1万+
今天在用java调用python进行执行时发现了一个错误，也就是下面这个错误。 java.io.IOException: Cannot run program "python3": CreateProcess error=2, 系统找不到指定的文件。 程序是这样的 Process proc; String line = null; try { // 执行py文件 proc = Runtime.getRun
java.io.IOException: Cannot run program “python“: CreateProcess error=2, 系统找不到指定的文件。
港港的博客
12-29 7237
java.io.IOException: Cannot run program "python": CreateProcess error=2, 系统找不到指定的文件。
flink on yarn.txt
05-24
编译环境： flink on yarn flink版本：flink1.8.0 scala版本：scala_2.1.2 hadoop版本：hadoop2.6.0-cdh5.9.3 系统：cetos6.4 final
java.io.IOException: Cannot run program error=2, No such file or directory
热门推荐
shyrainxy的专栏
07-09 2万+
假设你在shell下要执行abc.sh -c conf download hive --query "select" -f file,这时候如果在java的processbuilder中需要调用该shell命令要如何处理呢？ 错误一： args[0]="abc.sh -c conf download hive --query "select" -f file" 将整个命令拼成一个字符串，这个是错误的做法 错误二： args[0]=abc.sh args[1]=-c conf 将部分命令拼成一个
Cannot run program "/home/qel/miniconda3/envs/Spark/bin/python": error=2, No such file or directory
weixin_40532625的博客
12-22 1334
在环境变量里设置了 PYSPARK_PYTHON = /home/qel/miniconda3/envs/Spark/bin/python 但是运行出错Cannot run program "/home/qel/miniconda3/envs/Spark/bin/python": error=2, No such file or directory 在master上运行这个路径也是没问...
Cannot run program‘C:\Anaconda3\envs\...\python.exe’(in directory):CreateProcess error=2,系统找不到指定文件
qq_39882333的博客
01-22 6062
pycharm 运行项目出错 如图，因为之前运行成功过，过了许久再运行就出现上图的错误，sad。。。 网查了许久都没有解决我的问题。 突然，自己想到了，可能是编译器的路径被换了的问题，然后自然就想到了首次运行会生成一个记录文档，类似于XML，而且会对后面的第二、三等等次的运行产生影响。于是打开了项目根目录下的.idea文件夹下的workspace.xml文件。 果然，这里记录的和我的编译器路径不一致，我装在D 盘下，这里的记录是C盘下（应该是上次运行留下的）。接下来非常easy了，删掉，运行项目，会自动
【无标题】yarn上报错Cannot run program “python3“: error=2, No such file or dictory…
qq_44080273的博客
03-10 4171
我在用win端的pycharm远程运行linux上的spark（on yarn）的pyspark的代码时，出现了这个问题。 后来几经周折发现了是我的配置的问题，仅供参考 要配置 **PYSPARK_PYTHON: 表示Spark想运行Python程序, 那么去哪里找python执行器 ** 这个至少需要在 /etc/profile ~/.bashrc 如果还跑不通，可以尝试加在 spark/conf/spark-env.sh 或者 yarn-env.sh ...
Cannot run program “C:\anaconda3\python.exe“ (in directory “D:\PycharmProjects\test1“): CreateProce
zzydsd5的博客
03-29 3949
.之前程序运行成功过，所以默认编译器路径和现在不一致的话，会导致出错。 程序首次运行会生成一个记录文档，类似于XML，而且会对后面的第二、三等等次的运行产生影响。打开项目根目录下的.idea文件夹下的workspace.xml文件。 删掉，运行项目，会自动生成一个新的workspace.xml。 就成功啦 ...
yarn上报错Cannot run program “python“: error=2, No such file or directory
u011250186的博客
01-05 4487
　　配置好yarn《【解决】处于ACCEPTED状态不running，Oozie提交pyspark任务后》，并解决宕机问题《运行yarn宕机（pyspark任务，通过Oozie提交）》后，出现新的问题： ｊａｖａ.io.IOException: Cannot run program "python": error=2, No such file or directory at ｊａｖａ.lang.ProcessBuilder.start(ProcessBuilder.ｊａｖａ:1...
python中出现[Errno 2] No such file or directory解决方法之一
m0_62793161的博客
10-13 1万+
[Errno 2] No such file or directory
python 踩坑 pycharm Cannot run program
elizebeth6的博客
05-21 7463
闲来无聊想搞一下python，先用Microsoft Store下载了python3.8，然后下载了pyCharm，运行的时候发现一直报错 最后发现是因为python版本的路径写错了 更改方法如下 找到File里面的setting setting里面Project–> Project Interpreter 点击设置，找到python3.8的安装路径更改上 这里因为我不知道具体路径，所以打开了我安装的python看了一下，路径就在目录栏上 不知道去哪里找的话就直接搜索应用就行了 ...
怎么使用jupyter pyspark向yarn提交任务
03-27
要使用Jupyter PySpark向YARN提交任务，需要按照以下步骤进行操作： 1. 安装并配置Hadoop和Spark。确保Hadoop和Spark都能正常运行，并且能够连接到YARN集群。 2. 安装Jupyter Notebook。可以使用pip安装Jupyter Notebook，或者使用Anaconda安装。 3. 安装Pyspark内核。可以使用以下命令安装： ``` pip install pyspark ``` 4. 启动Jupyter Notebook。在终端中输入以下命令： ``` jupyter notebook ``` 5. 创建一个新的Notebook。在Jupyter Notebook的主界面中，点击“New”按钮，选择“Python3”或者“PySpark”内核。 6. 编写Pyspark程序。在Notebook中编写Pyspark程序，可以使用SparkSession来连接到YARN集群，并使用YARN作为资源管理器。例如： ``` from pyspark.sql import SparkSession spark = SparkSession.builder.appName("MyApp") \ .config("spark.master", "yarn") \ .config("spark.submit.deployMode", "client") \ .config("spark.executor.instances", "2") \ .getOrCreate() df = spark.read.csv("hdfs://path/to/file.csv") df.show() ``` 7. 运行程序。单击Notebook中的“Run”按钮来运行程序。程序将会被提交到YARN集群，并在集群上运行。 8. 查看运行结果。程序运行完毕后，可以在Notebook中查看结果，或者在YARN集群的日志中查看详细信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值