Spark 总结项目一---\r: 未找到命令警告 & 脚本jar执行报错Error:Unable to access jarfile

八、 linux脚本执行:\r: 未找到命令警告 & Error:Unable to access jarfile

第一个\r: 未找到命令警告,是因为你所执行的脚本是在win环境下编辑后放在集群上执行的sh脚本,此时需要安装dos2unix执行

原因分析:在windows下编写的shell.sh脚本,上传到服务器,存在多余的空格或换行,导致报错
解决办法,安装dos2unix

安装dos2unix 
yum install dos2unix

使用dos2unix对脚本转换 
dos2unix xxx.sh

第二个执行java -jar /xxxxxx/…jar 有错Error:Unable to access jarfile

原因分析:
​ 1、执行权限
​ 2、jar存放路径以及jar包名有误
​ 3、未对将脚本unix化

解决办法:
1、增加jar执行的用户或者此文件权限即可;
2、不建议手写,直接复制jar包所在目录pwd和jar包名即可;
3、如果单独执行此行jar命令可以运行,但是放在sh脚本中却出错的话,可能因为你这个sh脚本文件是在win环境下编辑的,后来ftp到unix服务器上,那么你可能需要将由win脚本转linux,安装并执行dos2unix对脚本转换。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您好!对于找不到 "spark-submit" 命令的问题,可能是因为 Spark 没有正确安装或配置在系统的环境变量中。请确保您已经按照正确的步骤安装了 Spark,并将其路径添加到您的环境变量中。 如果您使用的是 Linux 或 macOS 系统,您可以尝试执行以下步骤: 1. 打开终端并进入 Spark 的安装目录。 2. 确认您可以看到 `bin` 文件夹。 3. 将 `bin` 文件夹添加到您的环境变量中。可以通过编辑 `~/.bashrc` 或 `~/.bash_profile` 文件,在其中添加以下行: ``` export PATH="/path/to/spark/bin:$PATH" ``` 注意将 `/path/to/spark` 替换为实际的 Spark 安装路径。 4. 保存并关闭文件。 5. 在终端中运行 `source ~/.bashrc` 或 `source ~/.bash_profile`,以使更改生效。 6. 现在尝试再次运行 `spark-submit` 命令,看看是否成功。 如果您使用的是 Windows 系统,可以尝试以下步骤: 1. 打开命令提示符并进入 Spark 的安装目录。 2. 确认您可以看到 `bin` 文件夹。 3. 将 `bin` 文件夹添加到系统的环境变量中。可以按下 Win + X 键,选择 "系统",然后点击 "高级系统设置"。 4. 在弹出的对话框中,点击 "环境变量" 按钮。 5. 在 "系统变量" 部分找到名为 "Path" 的变量,并点击 "编辑"。 6. 在 "编辑环境变量" 对话框中,点击 "新建" 并添加 Spark 的 `bin` 文件夹路径。 7. 点击 "确定" 保存更改。 8. 现在尝试再次运行 `spark-submit` 命令,看看是否成功。 希望这些步骤能够帮助您解决问题!如果您还有其他疑问,请随时提问。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值