spark on yarn 能输出结果 但出现AssertionError

最新推荐文章于 2024-08-31 09:22:23 发布
最新推荐文章于 2024-08-31 09:22:23 发布
阅读量5.4k 收藏
点赞数
分类专栏： spark Hadoop 文章标签： spark1.0.1 yarn-cluster AssertionError
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunflower_cao/article/details/38384855
版权
在尝试运行Spark 1.0.1版本在YARN集群模式下执行JavaWordCount任务时，程序成功输出了结果，但在完成作业后遇到了AssertionError。错误发生在等待SparkContext初始化的过程中，可能与Spark或YARN的配置或版本兼容性有关。
摘要由CSDN通过智能技术生成
今天在spark1.0.1上面自己写了一个javawordcount  然后打成jar包 提交到yarn上面执行：
运行到最后可以在hadoop的stdout里边看到正常的结果输出
  1. hadoop: 1
  2. : 1
  3. hello: 3
  4. 2.2.0: 1
  5. world: 1
复制代码

但是在stderr里边出现
  1. in 4.089 s
  2. 14/08/05 13:29:30 INFO DAGScheduler: looking for newly runnable stages
  3. 14/08/05 13:29:30 INFO DAGScheduler: running: Set()
  4. 14/08/05 13:29:30 INFO DAGScheduler: waiting: Set(Stage 0)
  5. 14/08/05 13:29:30 INFO DAGScheduler: failed: Set()
  6. 14/08/05 13:29:30 INFO DAGScheduler: Missing parents for Stage 0: List()
  7. 14/08/05 13:29:30 INFO DAGScheduler: Submitting Stage 0 (MapPartitionsRDD[6] at reduceByKey at JavaWordCount.java:40), which is now runnable
  8. 14/08/05 13:29:30 INFO DAGScheduler: Submitting 1 missing tasks from Stage 0 (MapPartitionsRDD[6] at reduceByKey at JavaWordCount.java:40)
  9. 14/08/05 13:29:30 INFO TaskSchedulerImpl: Adding task set 0.0 with 1 tasks
  10. 14/08/05 13:29:30 INFO TaskSetManager: Starting task 0.0:0 as TID 1 on executor 0: localhost (PROCESS_LOCAL)
  11. 14/08/05 13:29:30 INFO TaskSetManager: Serialized task 0.0:0 as 2278 bytes in 5 ms
  12. 14/08/05 13:29:30 INFO MapOutputTrackerMasterActor: Asked to send map output locations for shuffle 0 to spark@localhost:57231
  13. 14/08/05 13:29:30 INFO MapOutputTrackerMaster: Size of output statuses for shuffle 0 is 127 bytes
  14. 14/08/05 13:29:30 INFO TaskSetManager: Finished TID 1 in 90 ms on localhost (progress: 1/1)
  15. 14/08/05 13:29:30 INFO DAGScheduler: Completed ResultTask(0, 0)
  16. 14/08/05 13:29:30 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool
  17. 14/08/05 13:29:30 INFO DAGScheduler: Stage 0 (collect at JavaWordCount.java:47) finished in 0.094 s
  18. 14/08/05 13:29:30 INFO SparkContext: Job finished: collect at JavaWordCount.java:47, took 4.634113197 s
  19. 14/08/05 13:29:30 INFO SparkUI: Stopped Spark web UI at http://192.168.200.233:43733
  20. 14/08/05 13:29:30 INFO DAGScheduler: Stopping DAGScheduler
最低0.47元/天 解锁文章
JokerCao
关注
专栏目录
Spark On YARN环境配置
feizuiku0116的博客
02-06 2976
一、准备工作 点击查看Spark Standalone HA环境配置教程 二、修改配置文件 一、修改spark-env.sh cd /export/server/spark/conf vim /export/server/spark/conf/spark-env.sh # 添加以下内容 HADOOP_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoop/ YARN_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoop/
37. Spark-shell启动时，报如下错误 java.lang.AssertionError: assertion failed: unsafe symbol SparkSession (ch
元元的李树专栏
01-08 1918
此报错，实属罕见。排除了spark配置及集群参数等后，追本溯源，怀疑是服务器上误上传了一个jar包到了spark指定目录，删掉后，问题解决。 删掉 /usr/hdp/2.6.5.0-292/spark2/jars/ Spark该目录下存在的一个jar包： XXXXX.spark-XXXXX-0.0.1.jar (此jar包，是某项目用到的jar包，是误操作上传到此目录)。 即...
spark on Yarn输出自定义日志
dxmno1的博客
09-02 1768
spark on Yarn输出自定义日志1、scala版2、java版 说明： 生产中spark程序打包发布到Yarn集群上，运行日志在ResourceManager UI，找到自己的项目，点击ID进入，点击Logs查看。 1、scala版 依赖： <dependency> <groupId>org.apache.logging.lo...
【Java】已解决：`java.lang.AssertionError`
最新发布
屿小夏.的知识博客
08-31 2366
是一种常见的错误类型，通常与开发者在代码中使用断言有关。本文将详细探讨这一错误的背景信息、可能的原因，并通过错误代码示例和正确代码示例来展示如何解决该错误。最后，还将提供一些注意事项，以帮助开发者避免类似问题。断言是一种用于测试代码假设的开发工具，它在开发阶段非常有用，能够帮助捕获不期望的代码行为。，我们应确保断言仅用于开发阶段的调试和验证，并且在正式代码中使用更可靠的错误处理机制。，提高代码的稳定性和健壮性。在编写代码时，注意以下几点可以有效避免。的值为负数，则会触发断言，抛出。在Java开发过程中，
eclipse启动失败:java..lang.AssertionError: assertion failed at scala.Predef$.assert(Predef.scala:204)
yangguangqizhi的博客
09-24 866
解决方案： 将你的eclipse相对应下相对应的工作空间下的(.metadata\.plugins\org.eclipse.e4.workbench\ )目录删掉就好了 参考链接：https://blog.csdn.net/qq_42422526/article/details/82048044 ...
执行yarn报错解决方案
luckywuxn的博客
05-23 4803
没有找到自己想要的，发现项目中没有“commander@12.1.0”依赖，于是接着问“项目里面没有commander@12.1.0 这个依赖，怎么会报这个错”？于是本人执行“npm config set ignore-engines true”，然后重新执行yarn命令，项目得以安装成功。特记录本文，以便后面参考。
Spark实验：On Yarn模式安装部署（带答案）1
08-03
Spark on Yarn是一种将Spark应用程序部署在Hadoop YARN资源管理器上的方法，它允许Spark充分利用YARN的资源管理和调度功能。在这个实验中，我们将详细探讨如何在Yarn模式下安装和部署Spark集群。 首先，我们需要...
Spark源码系列（七）Sparkonyarn具体实现
01-30
本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Spark onyarn的实现，1.0.0里面...在第一章《spark-submit提交作业过程》的时候，我们讲过Sparkonyarn的在cluster模式下它的main clas
Spark on Yarn模式部署.docx
10-03
Spark on Yarn 模式部署是一种常见的 Spark 应用场景，本文将详细介绍 Spark on Yarn 模式部署的步骤和配置过程。 标题解释 Spark on Yarn 模式部署是指将 Spark 应用程序部署在 Yarn 集群上，使得 Spark 能够使用 ...
5-1、Spark环境搭建
鲍礼彬的CSDN博客 ~_~
03-12 1785
2、Spark环境搭建 2.1、官网下载 Spark官网地址：http://spark.apache.org/     下载后如下：   Linux上安装部署Spark Jdk Scala SSH Hadoop Spark 2.2、安装模式 Local模式(学习、测试之用)   Standalone模式（内置的资源管理和调度框架） Mesos（Apache） Ya
WebLogic错误 java.lang.AssertionError: Registered more than one
04-23
weblogic日志报如下错误原因及解决方法： WebLogic Server 9.2 Repeatedly Throws: java.lang.AssertionError: Registered more than one instance with the same objectName
一文搞定Spark的DAG调度器（DAGScheduler）
LMR的博客
05-10 8960
Spark的DAG调度器1. DAG定义2. DAG实例化3. DAGScheduler划分Stage的原理4 DAGScheduer划分Stage的源代码 1. DAG定义 RDD DAG还 构建了基于数据流之上的操作算子流， 即RDD的各个分区的数据总共会经过哪些 Transformation和 Action这两种类型的一系列操作的调度运行， 从而RDD先被Trans­formation操作转换为新的RDD, 然后被Action操作 将结果反馈到Driver Program或存储到外部存储系统上 。 上
spark本地linux测试,【EALinux测试面试题】面试问题：Spark 和… - 看准网
weixin_39928648的博客
05-12 220
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties18/06/20 11:36:08 INFO SparkContext: Running Spark version 2.3.118/06/20 11:36:08 WARN NativeCodeLoader: Unable to load n...
深入Spark内核：任务调度(2)-DAGScheduler
qiuhaomaodan的专栏
04-08 1534
DAGScheduler面向stage的调度(stage-oriented scheduling)的高级调度器，为每个job的不同stage计算DAG，跟踪哪些RDD和stage被物化并且发现运行job的最小的调度策略，然后以taskset为单位提交(submitTasks)给TaskScheduler。除了提交stage的DAG外， DAGScheduler基于cache的当前状态来决定每个
eclipse启动遇到java.lang.AssertionError: assertion failed的问题
qq_42422526的博客
08-25 1万+
碰到这种小小的令人恶心的小问题就得治！ 好了废话少说！话说： eclipse启动时碰到下边的问题： This is a continuation of log file D:\Java\eclipse\workspace\.metadata\.bak_0.log Created Time: 2018-08-25 08:52:19.585 !ENTRY org.eclipse.e4.ui.w......
java.lang.AssertionError断言错误
热门推荐
我的IT日子
07-07 5万+
測試      @Test     public void testAdd() throws Exception {                           UserManager um = new UserManager();         User u = new User();         u.setUsername("b4");         u.
基于Spark SQL 读写Oracle 的简单案例分析常见问题
harli的专栏
04-28 1万+
1      概述 本文主要内容包含Spark SQL读写Oracle表数据的简单案例，并针对案例中比较常见的几个问题给出解决方法。 最后从常见的java.lang.ClassNotFoundException（无法找到驱动类）的异常问题出发，分析相关的几种解决方法，以及各个解决方法之间的异同点。 2      案例中比较常见问题及其解决方法 2.1     启动 首
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值