记录一次spark报错：一直显示运行但是不输出

已于 2023-06-08 20:30:50 修改
阅读量182 收藏
点赞数 1
文章标签： intellij-idea spark
于 2023-06-08 12:14:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kryonon/article/details/131105148
版权

不知道怎么解决 

分隔符——————————

然后我重新创建项目

准备复制

复制到resources里面的xml文件时项目报错

然后我把这些xml文件删掉，项目成功运行。

但是我不知道到底有什么冲突导致项目只运行不输出 

再次分割——————

看了同学的之后发现同学只放了一个hive-site.xml

然后我尝试把hive-site.xml放进resources里面

结果，成功！！！！！！！

Kryonon
关注
hadoop组件---spark实战----spark on k8s模式k8s原生方式---cluster mode调用运行spark程序
直到世界的尽头
02-05 2251
我们在上篇文章中已经记录了 如果 安装spark on k8s模式k8s原生方式—cluster mode。 hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 cluster mode 本章记录 cluster mode这种方式的spark集群使用方法。 首先注意 提交spark命令需要借助 spark的安装包中的spark-submit命...
Spark RDD输出不显示
qq_40471761的博客
03-06 2659
问题 在本地环境中，直接使用rdd.collect()，无法打印rdd的内容 有三种方法 result .foreach(line => println(line)) result.collect().foreach {println} rdd.take(10).foreach { println } 官网解释 Printing elements of an RDD An...
设置Spark运行程序时不显示log信息
萤火之光，照亮前行
09-01 1959
在IDEA中设置不要显示spark的log信息 需要导入的包： import org.apache.log4j.Logger import org.apache.log4j.Level 第一种方式：在main函数中设置 def main(args:Array[String]):Unit={ Logger.getLogger("org").setLevel(Level.OFF) System....
Spark -- 一次Task长时间卡住不动，一直Running的问题解决
热门推荐
TheBigBlue的博客
07-28 1万+
向导现象排查 现象   spark提交任务后，某一个Stage卡住，通过spark界面看到，executor运行正常，卡住的Stage的task已经分配至executor，但task 一直在running并且数据量不大，task不结束，同时log中也无异常报出。 20/07/27 07:40:13 INFO CoarseGrainedExecutorBackend: Started daemon with process name: 15841@ip-10-3-1-141.ec2.internal 20
spark任务成功运行,但8088UI界面不显示Application
weixin_44455388的博客
09-18 5419
今天运行spark任务时，提交的任务成功地计算出了数据，但8088web界面始终不限application的信息。 起初以为是spark集群出了问题，于是进行了重启，但重启后问题依然没有解决。 于是返回到代码,发现测试完毕，mater没有删掉，删掉mater问题得到解决。 //获取sparkSession val sparkSession = SparkSession.builder().appN...
Spark启动后WebUI看不到Workers
hzp666的博客
12-14 1652
Work启动，但Http中没有Worker节点：说明Slave节点与Master的通讯出现问题，或Slave节点无法向Master注册，导致虽然Woker启动但不能在Master中找到。 搜了一堆，被这个问题折磨了一天，总结一下主要是下面几个解决办法 1. spark-env.sh 文件中需要显式地设置一些环境变量，不用系统默认值 参考：https://blog.csdn.net/qq1187239259/article/details/79489800?utm_source=blogxgwz2 2
记录spring boot&spark调试时出现的错误
大大大大大大大大白的博客
06-15 437
学习spark过程中一些问题记录，个人调试用的spring boot版本为2.5.2，spark版本为2.3.0
Spark报错与日志问题查询指南
05-29 1082
一、各界面说明 1.1、查看YARN页面的driver日志 可以在右侧搜索框中填对应application号找到任务，然后点击对应的application号链接，如下图所示： 这样会进入该application的信息界面，“FinalStatus”显示了该application的最后状态，点击下方的“logs”按钮也会进入到driver日志界面，如下图所示： 对于driver日志而言，代码中的println()和show()等函数的输出，一般都在stdout里，大部分重要的报错信息都在stderr里。...
Spark：命令行
weixin_45730125的博客
06-30 632
运行示例代码： 同时可以在yarn(hadoop环境)下运行： 测试yarn任务提交是否正常
spark 存入hbase_【开发案例】Spark案例：从Hive读取数据再写入HBase
weixin_39631932的博客
12-19 735
Spark案例：从Hive读取数据再写入HBase1.1场景说明适用版本FusionInsight HD V100R002C70、FusionInsight HD V100R002C80。场景说明假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费的金额信息。现person表有记录name=1,account=100，表示用户1在当天消费金额为100元...
【BIT云计算实验】Spark Local/Standalone模式搭建实验记录
Alice2O3的博客
04-06 4505
菜鸡百丽宫，云计算搞这么离谱的实验，发的教程也没有任何参考价值。 为了补充老师没有提到的关键步骤，同时为了致敬画师Nardack和Krenz，这里专门以这两位为用户名，展开介绍一下从零开始建立Ubuntu虚拟机，查看ip地址，配置ssh无密码相互连接，配置环境变量，Local和Standalone模式运行spark集群的全部步骤，以飨读者。
用Spark实现word Count实例——入门大数据实例
qq_30899339的博客
06-14 7924
参考资料： https://blog.csdn.net/weixin_43893397/article/details/105289992 https://zhuanlan.zhihu.com/p/75779188 https://blog.csdn.net/u010675669/article/details/81744386 https://blog.csdn.net/weixin_43924642/article/details/89388432 首先将需要的input文件本地传至HDF.
sparkstreaming 程序没有结果，不报错也不输出
Sablier的博客
08-12 2652
报错代码： 报错： sparkstreaming 程序没有结果，不报错也不输出 通过浏览器访问8088端口 spark streaming程序一直处于ACCEPTED状态（处于RUNNING的程序才会运行。） 可能原因： 1.spark streaming 在同一个 spark context 下同时只会运行一个，如果需要运行下一个，必须完全kill上一个。 2. kafka队列中有太多积压得信息...
spark-shell println 无输出显示
zhangguangxu98的博客
10-27 824
1、访问sparkui:http://master-ubuntu:7070/ 2、通过UI界面查看打印结果
spark任务一直卡住，问题分析、解决
spark_dev的博客
04-08 8412
项目场景： spark运行中，job一直在执行中，运行过程中会有hdfs, db的交互 问题描述： 有个同学跟我反映问题，spark运行中，job一直在执行中，executor,driver都在跑，没有任何异常， 正常是很快跑完，但跑10min都动不动，很奇怪，让我帮忙看看 原因分析： 碰到问题，处理问题思路： 1.先确定driver,executor是否正常，从页面看，是正常 2.看看任务在做什么，看看executor的task在干忙什么，通过executor tab把正常运行任务的task对应e
关于SparkStreaming运行案例时控制台不打印的问题
飞奔的蜗牛的博客
12-14 3895
运行SparkStreaming官网案例出现控制台不打印输出结果的问题
搭载英伟达Jetson Orin的Allspark 2全新亮相，算力高达100TOPS！
AMOVLAB(阿木实验室)
03-06 879
Allspark是专为小型机器人打造的一款高性能、小体积的AI边缘计算机。自去年6月 Allspark 1 机载计算机问世以来，得到了广大开发者的大力支持zhēn ài wú yí。 过去的半年，人工智能快速发展，行业对边缘计算机的算力需求急剧攀升。为了满足广大开发者的需要，现为大家推出一款算力更高、体积更小、重量更轻的边缘计算机：
将SPARK启动和运行时的一些INFO信息过滤掉
sunzz679的专栏
11-23 6899
我们在每次启动和运行SPARK时，会出现大量的INFO信息，一些WARN和ERROR信息隐藏在其中，这可能会被我们忽略掉，同时对阅读造成了很多不便，所有可以将这些不太重要的信息过滤掉。方法是： 1. 进入$SPARK_HOME/conf目录下，拷贝一个log4j.properties.template，命名为log4j.properties，可以使用下面的语句完成： $ cp log4j.pr
spark报错：container exited with a non-zero exit code 50.Error file:prelaunch err.
最新发布
06-01
1. 检查你的资源配置，确保集群中有足够的资源来运行你的任务。 2. 检查你的代码和脚本是否有错误，可能需要重新编写或调试。 3. 检查你的环境变量和配置文件是否正确设置。 4. 检查你的文件系统是否可用，并且你...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值