spark任务error 一例

最新推荐文章于 2024-03-24 23:13:58 发布
最新推荐文章于 2024-03-24 23:13:58 发布
阅读量1.8k 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baiyangfu_love/article/details/23379267
版权 
14/04/10 20:07:13 INFO ui.SparkUI: Started Spark Web UI at http://hadoop01:59299
14/04/10 20:07:13 ERROR spark.SparkContext: Error adding jar (java.io.FileNotFoundException: wordcount.jar (没有那个文件或目录)), was the --addJars option used?
14/04/10 20:07:13 INFO cluster.YarnClusterScheduler: Created YarnClusterScheduler


具体的原因现在还不清楚，通过下面的方法先解决了：
1、在提交作业的命令中加上 --addJars 指定wordcount.jar 文件
2、上传wordcount.jar包到hdfs指定目录中

这样就可以了
baiyangfu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Transwarp组件Trasporter工具数据抽取
weixin_33985679的博客
01-15 1115
1、当将inceptor的IDAP安全认证开启之后，transporter组件不能启动，参看日志文件/var/log/transporter1/发现是无法连接数据库，用户名密码错？不是，是没有开配置项里的IDAP模式，将tdt-site.xml配置里的 <property> <name>tdt.inceptor.auth.mode</name> <...
【Hive】MapRedTask报错处理记录
喜东东的博客
01-28 1816
实例1： 场景：跑日分区表3年历史数据，SQL为日数据 left join 基本信息的结构。 问题： stage-1的reduce跑不动 暴力解决方案，直接把reduce tasks的数调大 set mapred.reduce.tasks=1000; --可多试几个数值 ...
web管理spark任务
11-15
web管理spark任务。scala代码编写.可视化。web管理spark任务。scala代码编写.可视化。
spark任务执行深入浅出
12-30
spark刨析
安装pyspark报错ERROR SparkContext:Error initializing SparkContext
最新发布
m0_64948681的博客
03-24 300
很小众的错误问题，谁能想到是计算机自带的问题！记录一次安装pyspark出现的极其离谱的报错问题。
spark任务task分析
11-23
spark任务task分析
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
7.spark任务设计1
08-08
7.spark任务设计1
hadoop fs -getmerge 对ORC表文件合并后 报错Buffer size too small. size = 262144 needed = 592198
数据之美的博客
12-08 5387
今日为解决项目上有个任务orc表产生小文件较多的问题，因此测试了一下hadoop fs -getmerge命令。 测试过程如下： 1.新建orc表，并分3次插入数据，并查看表路径中文件，产生3个文件 2.使用命令合并 3.将合并后的数据put回表路径 4. 查询结果表，出现报错信息: Error: EXECUTION FAILED: Task MAPRED-SPARK error SparkException: [Error 1] Job aborted due to stage failure:
SparkSQL查询Hive表报错 HiveException: copyFiles: error while moving files!!!
阿尼古
09-23 1810
今天遇到一个大坑，发现好多个任务报错了~~~ 慌得一笔，为啥每次轮到我，都是这个样子，这么刺激~ 错误日志如下： 2019-09-23 12:45:59,771 | INFO | task-result-getter-3 | Finished task 164.0 in stage 4.0 (TID 365) in 81 ms on yiclouddata16-SZZB (ex...
HIVE Mapred tasks exceed 1000000000
kaku1230的博客
04-01 4497
Topo check failed. Mapred tasks exceed 1000000000 Automerge可以直接在Inceptor命令行中开启： SET ngmr.partition.automerge = true; SET ngmr.partition.mergesize = n; SET ngmr.partition.mergesize.mb = m; "ngmr.part...
Spark常见错误问题汇总
微信搜：import_bigdata，大数据领域硬核原创作者
07-18 1847
一.SparkSQL相关 在执行insert 语句时报错，堆栈信息为：FileSystem closed。常常出现在ThriftServer里面。 原因：由于hadoop FileSystem.get 获得的FileSystem会从缓存加载，如果多线程一个线程closedFileSystem会导致该BUG 解决方法：hdfs存在不从缓存加载的解决方式，在hdfs-site.xml 配置 fs.hdfs.impl.disable.cache=true即可 ...
hive在spark上运行报错汇总
沧海一粟的博客
06-18 1192
1：ERROR - An error occurred while calling o103.sql.（调用o103.sql时出错） Permission denied by sticky bit setting: user=airflow, inode=dm_cust_live_all（粘性位设置拒绝许可） 解决方法：定义表为 denied by sticky bit 非super不能修改表的...
执行mapreduce报错java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException:
DraGon_HooRay的博客
01-08 656
出现java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException: com.web.visit.main.ClickVist$VisitMapper.()的问题 java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMeth...
MapReduce错误之Error: java.lang.RuntimeException: java.lang.NoSuchMethodException的解决方法
weixin_33690367的博客
03-26 423
今天跑MapReduce项目的时候遇到了这个问题，日志如下所示： 18/03/27 01:23:15 DEBUG ipc.ProtobufRpcEngine: Call: getDiagnostics took 19ms Error: java.lang.RuntimeException: java.lang.NoSuchMethodException: com.hadoop.train....
Spark常见问题解决办法
weixin_33812433的博客
02-21 688
以下是在学习和使用spark过程中遇到的一些问题，记录下来。 1、首先来说说spark任务运行完后查错最常用的一个命令，那就是把任务运行日志down下来。 程序存在错误，将日志down下来查看具体原因!down日志命令：yarn logs -applicationId app_id 2、S...
Spark常见问题汇总
aiwode1234的专栏
05-16 1102
注意：如果Driver写好了代码，eclipse或者程序上传后，没有开始处理数据，或者快速结束任务，也没有在控制台中打印错误，那么请进入spark的web页面，查看一下你的任务，找到每个分区日志的stderr，查看是否有错误，一般情况下一旦驱动提交了，报错的情况只能在任务日志里面查看是否有错误情况了1、Operation category READ is not supported in state
报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduc
子清的博客
10-09 1081
Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row {"order_id":15793,"order_date":"2013-11-03 00:00:00.0","order_customer_id":6471,"order_status":"COMPLETE"} at org.apache.ha
beeline连接hive server遭遇MapRedTask (state=08S01,code=1)错误
热门推荐
白乔专栏
11-15 2万+
采用beeline连接hive server是遭遇到如下错误：5: jdbc:hive2://bluejoe0/default> select * from hive_triples where subject='' limit 1; Error: Error while processing statement: FAILED: Execution Error, return code 1 fr
hue 提交spark任务
11-07
提交Spark任务有多种方法，其中最常用的方法是通过spark-submit命令行工具来提交任务。 首先需要将Spark安装和配置好，确保Spark环境能够正常运行。然后，可以通过以下命令来提交任务： ```shell $ spark-submit --class <main-class> --master <master-url> --deploy-mode <deploy-mode> <application-jar> [application-arguments] ``` 其中，`<main-class>`指定了Spark应用程序的主类；`<master-url>`指定了Spark应用程序要连接的集群的URL；`<deploy-mode>`指定了应用程序的运行模式，可以选择为`client`或者`cluster`；`<application-jar>`指定了打包好的应用程序的jar包路径；`[application-arguments]`是可选的应用程序参数。 在Hue中提交Spark任务，可以通过以下步骤实现： 1. 在Hue的首页上点击"Spark"菜单。 2. 在Spark页面中，点击"New Job"按钮。 3. 在"Job Configuration"页面中，填写任务的相关信息，包括任务名称、主类、Jar文件路径、Spark参数等。 4. 点击"Save"按钮保存配置。 5. 回到Spark页面，点击"Run Job"按钮来提交任务。 通过以上步骤，就可以在Hue中提交Spark任务了。在任务运行完成后，可以查看任务的运行日志和结果。 除了使用Hue，也可以在命令行中直接使用`spark-submit`命令来提交Spark任务。使用Hue提交Spark任务更加方便和易用，可以在Web界面上完成任务的配置和提交，无需手动输入命令和参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值