spark-submit：未找到命令

最新推荐文章于 2024-05-16 12:28:46 发布
最新推荐文章于 2024-05-16 12:28:46 发布
阅读量2.1k 收藏 4
点赞数
分类专栏： 报错 Spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45528773/article/details/130538841
版权

在执行过程中出现错误

hadoop@Master:~/sparkapp$ spark-submit --class "hw10_1_CountLine" /usr/local/spark/sparkapp/target/scala-2.11/simple-project_2.11-1.0.jar 
spark-submit：未找到命令

得去bin的目录里面找

hadoop@Master:~/sparkapp$ /usr/local/spark/bin/spark-submit --class "HW10_1_CountLine" /home/hadoop/sparkapp/target/scala-2.11/simple-project_2.11-1.0.jar 2>&1 | grep "The num of this file is "

就能得出结果

The num of this file is 5

ZYT＿庄彦涛
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
启动spark-shell或执行spark-submit失败的问题
u014005893的博客
09-11 3808
启动spark-shell或执行spark-submit失败的问题 楼主搭建了一套CDH大数据平台，其中包括Spark2服务，近来在终端启动spark-shell以及利用spark-submit提交任务时，分别报以下错误： [root@cdh0 ~]# spark-shell Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apac
spark停止命令linux,后台运行spark-submit命令的方法
weixin_30794381的博客
04-29 1530
在使用spark-submit运行工程jar包时常常会出现一下两个问题：1.在程序中手打的log(如System.out.println(“***testRdd.count=”+testRdd.count()))常常会因被下一个Job的执行日志覆盖掉而无法查看日志；2.一旦命令窗口被关闭或者电脑因断电等原因异常关闭，程序便终止运行。其中，第一个问题可以通过将运行日志重定位到文件中来解决，命令如下：...
Apache Spark技术实战之6 -- spark-submit常见问题及其解决
www.hohode.com
03-19 547
http://m.blog.csdn.net/blog/javastart/44242671
本地spark安装配置使用踩坑之spark-submit没有输出和其他
最新发布
qq_40639184的博客
05-16 436
命令行spark-submit xxx.py无其他输出，只有“INFO ShutdownHookManager: Shutdown hook called”的可能解决方案
spark-sql: command not found 问题解决
aruewds的博客
08-07 2072
发现SPARK_HOME和PATH已经配置了，但是仍然出现该问题。
spark-submit提交作业时，mysql数据库连接不上，ClassNotFound执行类找不到
tuifumo3412的博客
03-04 3246
scala+mysql，The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server. 提交作业时，出现连接不上的问题 在本地IDEA生成jar包，放到虚拟机上执行提交任务时，出现以下错误。 下面展示一些 报错片段。 Exception in thread "main" java.sql.SQLNonTransien
spark在linux环境中出错,在Linux中在键入spark-shell时找不到spark提交
weixin_33344147的博客
05-09 639
我一直在关注本教程为scala安装spark：https://www.tutorialspoint.com/apache_spark/apache_spark_installation.htm但是,当我尝试运行spark-shell时,我在控制台中收到此错误./usr/local/spark/bin/spark-shell: line 57: /usr/local/spark/bin/bin/sp...
spark启动脚本报告No such file or directory
微电子学与固体电子学-俞驰
05-06 3718
Laptop: bash: line 0: cd: /home/appleyuchi/bigdata/spark-3.0.0-preview2-bin-hadoop3.2: No such file or directory Laptop: bash: /home/appleyuchi/bigdata/spark-3.0.0-preview2-bin-hadoop3.2/sbin/stop-...
singlestore-spark-connector:MemSQL和Spark的连接器
05-14
您可以使用以下命令将连接器添加到Spark应用程序：spark-shell，pyspark或spark-submit $SPARK_HOME/bin/spark-shell --packages com.singlestore:singlestore-spark-connector_2.11:3.0.7-spark-2.4.4 我们发布了...
spark-scala-maven-boilerplate-project:这是一个 Scala 项目的骨架，用 maven 开始使用 Spark
06-08
在/target文件夹中，您将找到名为spark-scala-maven-project-0.0.1-SNAPSHOT-jar-with-depencencies.jar的结果胖 jar。 要启动 Spark 作业，请在配置了 Spark 环境的 shell 中使用以下命令： spark-submit --...
gcore-spark:Spark上G-CORE图查询语言的实现
05-29
Guice 4.0 jar 需要作为spark.driver.extraClassPath属性单独传递给驱动程序，否则驱动程序无法找到它。 mvn package -DskipTestsspark-submit \ --class GcoreRunner \ --master local[2] \ --conf " spark.driver...
spark-2.1.2-bin-hadoop2.6.tgz
10-25
5. **提交应用**：使用`spark-submit`命令将Spark应用程序提交到YARN集群，YARN会根据配置启动ApplicationMaster并分配Executor。 **使用注意事项** - **内存管理**：合理配置Spark的executor内存和driver内存，...
spark-1.6.3-bin-hadoop2.4.tgz
11-25
在实际使用中，开发者可以根据需求选择合适的编程语言（Scala、Java、Python或R）和模块（如Spark Core、Spark SQL、Spark Streaming或MLlib），并通过`spark-submit`命令将应用程序提交到集群进行执行。 总的来说...
spark-submit命令行设置
网络空间发展与战略研究
10-24 5745
1.5.1 OverviewProgramming Guides Quick StartSpark Programming GuideSpark StreamingDataFrames and SQLMLlib (Machine Learning)GraphX (Graph Processing)Bagel (Pregel on Spark)SparkR (R on Spark)
解决jupyter连接spark，No such file or directory: ‘/opt/spark/python/pyspark/./bin/spark-submit‘
这是博客简介
02-13 1516
在jupyther里面执行sc = SparkContext(conf=conf)，出现： ```python Spark submit fails: No such file or directory: '/opt/spark/python/pyspark/./bin/spark-submit' 解决办法： os.environ['SPARK_HOME'] = '/export/servre/spark' 填写集群的spark安装地址 ...
一个诡异的spark-submit运行问题（已解决）
infovisthinker的专栏
12-22 1万+
今天在测试刚刚部署好的spark集群的时候，碰到了一个诡异的spark-submit问题。搜了一圈也没发现，结果意外的找到了原因，真是欲哭无泪！ 问题：写好了一个计算Pi的程序，编译打包成 ComputePi.jar包，放到spark集群的master上，然后用命令 spark-submit --master spark://master1:7077 --class com.ibm.j
安装spark + 用命令运行scala相关项目 + crontab定时执行
qq_25529689的博客
08-20 1576
一、准备工作： 1.需要的软件：java安装jre1.8 spark-2.2.0.tar.gz(已配置好） 2.运行工程需要的东西：maven工程打的jar包 --prodmge-mapreduce-0.0.1-SNAPSHOT.jar，运行工程需要的lib，bjtds.sql 二、安装spark和配置spark的变量：主要是参考的https://blog.csdn.net/weixin_46995451/article/details/108709068 安装时需要注意spark版本..
-bash: xxx: 未找到命令
热门推荐
记录学习生活的点滴(Linux运维、java)
06-29 5万+
-bash: xxx: 未找到命令 1.-bash: netstat: 未找到命令 yum -y install net-tools 2.javac java-version 找不到命令 yum install java-devel 3.linux安装jdk时，vim 未找到命令 当进行安装jdk时，往往需要配置系统环境，当输入vim命令时，找不到vim命令，那么就需要加载插件了。 1、输入命令 rpm -qa|grep vim 查询已有的vim插件，正常此命令需要系统存在这样4条。.
-bash: CREATE: command not foun
11-20
根据提供的引用内容，出现-bash: CREATE: command not found的错误可能是由于以下原因之一导致的： 1. CREATE命令不存在或未正确安装。 2. CREATE命令所在的路径未被添加到环境变量中。 解决此问题的方法如下： 1. 确认CREATE命令是否存在或已正确安装。可以通过which命令来查找CREATE命令的位置，例如： ```shell which CREATE ``` 如果CREATE命令不存在，则需要安装该命令或使用其他可用的命令。 2. 如果CREATE命令存在，但仍然出现-bash: CREATE: command not found的错误，则可能是由于CREATE命令所在的路径未被添加到环境变量中。可以通过编辑.bashrc或.bash_profile文件来添加路径，例如： ```shell export PATH=$PATH:/path/to/CREATE ``` 其中/path/to/CREATE是CREATE命令所在的路径。添加完成后，使用source命令使更改生效，例如： ```shell source ~/.bashrc ``` 或 ```shell source ~/.bash_profile ``` 如果您不确定应该编辑哪个文件，请编辑.bashrc文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZYT＿庄彦涛

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值