运行Spark遇到的问题

最新推荐文章于 2024-02-17 19:11:27 发布
最新推荐文章于 2024-02-17 19:11:27 发布
阅读量3.5k 收藏 2
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoQL520/article/details/79538277
版权
本文总结了在运行Spark时可能遇到的问题及解决方案，包括YARN集群报错、Hadoop警告、YARN警告、executor请求错误、字符串截断警告、Hadoop本地库加载失败、模块未找到错误以及Hadoop EOF异常等，并提供了相应的配置调整和操作建议。
摘要由CSDN通过智能技术生成

这是在运行spark时遇到的一些问题的小结，仅仅作参考，当时参考的具体地址也忘记了，如果想了解更详细的情况可以根据具体问题去搜索相关答案。

1. 运行在yarn集群上时报错：

 Failed to send RPC5111091680910991783 to /192.168.xxx.xxxx:49208:java.nio.channels.ClosedChannelException

解决办法：配置yarn-site.xml一下内容

<property>

    <name>yarn.nodemanager.pmem-check-enabled</name>

    <value>false</value>

</property>

<property>

    <name>yarn.nodemanager.vmem-check-enabled</name>

    <value>false</value>

</property>


2.hadoop报警告：

WARNutil.NativeCodeLoader: Unable to load native-hadoop library for yourplatform... using builtin-java

最低0.47元/天 解锁文章
清萝卜头
关注
专栏目录
Spark报错 Failed to send RPC xxx to/ip:43074 java.nio.channels.ClosedChannelException
九师兄
07-04 2139
1.美图 2.背景 是这样的，我写了一个spark程序，然后，运行的时候，我kiill yarn掉这个程序，然后发现程序报个错然后继续运行了。 [deploy@cdh ~]$ yarn application --list 19/12/17 13:47:39 INFO client.RMProxy: Connecting to ResourceManager at cdh.xxx.xx.loca...
WARN Utils: Truncated the string representation of a plan since it was too large. This behavior can
weixin_50259390的博客
12-15 645
spark运行报错Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf.解决方法：把spark.debug.maxToStringFields参数设置大点到200，如果还不可以可继续往上加。
7. WARN Utils: Truncated the string representation of a plan since it was too large. This behavior
元元的李树专栏
11-05 9257
7. WARN Utils: Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf. ========== 在交互环境，暂时修改...
Spark2 Failed to send RPC 5346982634 to /ns1:58312: java.nio.channels.ClosedChannelException
qiaotongzxcv的专栏
11-21 5587
将spark任务运行与yarn上出现以下错误： scala&gt; 18/11/21 16:20:11 ERROR cluster.YarnClientSchedulerBackend: Yarn application has already exited with state FINISHED! 18/11/21 16:20:11 ERROR client.TransportClient: ...
pyspark及Spark报错问题汇总及某些函数用法。
元元的李树专栏
01-07 3万+
此贴，主要记录本人在工作中遇到的某些报错问题，并提出自己的解决办法。 1. spark = SparkSession.builder() TypeError: 'Builder' object is not callable 解决办法：.builder() 改为.builderhttps://issues.apache.org/jira/browse/SPARK-1842...
winutils 运行spark等需要
05-26
4. **错误排查**：遇到问题时，查看日志文件和错误消息，以确定是配置错误还是版本不兼容。 总的来说，`winutils.exe` 在 Windows 上运行 Spark 或其他 Hadoop 相关工具时扮演着不可或缺的角色。理解它的功能和如何...
spark运行example时遇到的问题
B11050101的博客
10-22 1128
运行spark自带的demo： 1、提交到client bin/spark-submit --master spark://ip:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2g lib/spark-examples-1.6.0-hadoop2.6.0.jar spark报错如下： Exception ...
Jupyter notebook运行Spark+Scala教程
12-20
**Jupyter Notebook运行Spark+Scala教程** 在进行大数据分析或机器学习项目时，开发者经常需要在不同的编程环境中切换，这可能会降低工作效率。Jupyter Notebook因其交互性和可视化的特性，成为了许多数据科学家和...
【spark】【在YARN上运行Spark】【Running Spark on YARN】
最新发布
wq6qeg88的博客
02-17 916
通常情况下，这并不重要，因为Spark在开始另一个阶段之前完成了一个阶段，唯一可能有影响的情况是在作业服务器类型的场景中，所以需要记住这一点。例如，当运行一个YARN集群，其中运行多个Spark版本的应用程序的混合工作负载时，这可能很有帮助，因为给定版本的shuffle服务并不总是与其他版本的Spark兼容。Spark发行版，由于它已经包含了内置的Hadoop运行时，默认情况下，当作业提交到Hadoop Yarn集群时，为了防止jar冲突，它不会将Yarn的classpath填充到Spark中。
spark 任务调优参数及问题整理
小小码农的博客
09-01 2132
1.数据倾斜： 最简单的做法:在sql中使用随机数distribute by rand() 在sql 末尾加 select * from a left join b on a.xx=b.xx distribute by rand() 2.spark.dynamicAllocation.enabled=true开启动态资源分配 3.提高并行度 spark.sql.shuffle.partitions=1000 ， 调整stage的并行度，也就是每个stage的task个数，默认值...
spark.debug.maxToStringFields错误
qq_21735341的博客
07-27 6464
spark = SparkSession \ .builder \ .config('spark.debug.maxToStringFields', '100')\ .appName("Python Spark SQL data source example") \ .master('local[*]')\ .get...
Spark运行常见问题
遥望......
03-04 748
这是在运行spark时遇到的一些问题的小结，仅仅作参考，当时参考的具体地址也忘记了，如果想了解更详细的情况可以根据具体问题去搜索相关答案。 1. 运行在yarn集群上时报错： Failed to send RPC5111091680910991783 to /192.168.xxx.xxxx:49208:java.nio.channels.ClosedChannelException 解决...
Structured Streaming开发过程遇到的一些bug
lxixi的博客
09-14 1334
1.org.apache.spark.SparkException: Task not serializable 将Structured Streaming 程序打包至集群运行的时候，报了Task not serializable异常，具体错误日志忘记保存下来了，参考 https://blog.csdn.net/javastart/article/details/51206715了这篇文章，不...
spark常用的调参详解
我的博客
12-28 1965
 1.在submit中设置 在submit中设置注意后面的  \  --conf "spark.shuffle.blockTransferService=nio" \   大数据集shuffle的时候，节点之间传输数据时使用netty 改为nio --conf "spark.debug.maxToStringFields=500"  \     字段的字符串太长了 --conf "spa...
Spark提交作业运行原理及其参数设置
scalaUser的博客
03-27 1665
运行原理：样例：/opt/spark/bin/spark-submit \--conf spark.num.executors=4 \--conf spark.executor.memory=16g \--conf spark.executor.cores=4 \--conf spark.debug.maxToStringFields=1024  \--conf spark.driver.memo...
spark-shell --master yarn-client(异常已经解决)
热门推荐
程裕强的专栏
04-09 3万+
[root@node1 ~]# spark-shell --master yarn-client Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead. Using Spark's default log4j profile: o
Spark中 java.net.ConnectException: 拒绝连接问题
haibei153的博客
08-12 2万+
在使用Spark的过程中报错java.net.ConnectException: 拒绝连接 在逐步排查后最终锁定为JDK配置的问题，可能自己在之前动过JDK相关的配置，导致在使用Spark中不能生效出现报错 总结问题原因：在修改完/etc/profile.d/my_env.sh中环境变量后没有进行source /etc/profile,直接向服务器进行分发，导致出错。 解决办法：1.在完成系统环境变量的修改后，进行source /etc/profile，（注意此过程为root操作，如果不想使用roo.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值