Spark相关常见问题汇总

脸ル粉嘟嘟

已于 2022-07-15 10:47:30 修改

阅读量2k

点赞数 1

文章标签： spark 大数据分布式

于 2022-07-13 16:56:53 首次发布

本文为IT晓白博主原创文章，欢迎大家转载，相互学习请附上博文链接！

本文链接：https://blog.csdn.net/qq_38617531/article/details/125767345

版权

在执行Spark过程中抛出：Failed to bingdate001:33381，caused by：java.nio.channels.unresolvedAdderssException
原因：该原因是由于hosts未配置，导致不识别
解决方法：修改相应的机器的host即可

在执行Sparksql操作orc类型的表时抛出：java.lang.IndexOutOfBoundsException 或者 java.lang.NullPointerException
原因：分区或者表下存在空的orc文件。该BUG在Spark2.3.0之后才修复
解决方法：规避解决。修改ORC的默认分割策略为：hive.exec.orc.split.strategy=BI进行解决。Orc的分split有3种策略（ETL、BI、HYBIRD），默认是HYBIRD(混合模式，根据文件大小和文件个数自动选择ETL还是BI模式)，BI模式是按照文件个数来分split。
Spark2.1.0不支持永久函数，这是由于Spark2.2.0之前不支持读取hdfs上面的jar包。

Saprk-sql和ThriftServer使用时报错：Java.net.socketTimeOutException:read time out
原因：是由于hivemetastore过于繁忙或者gc导致连接超时
解决方法：spark-sql解决：hive.metastore.client.socket.timeout将该参数调大。ThriftServer解决办法：在获得一个Connection之前加上：DriverManager.setLoginTimeout(100)

Spark-sql在执行时将一个很小的文件拆分成了25个task进行运行，导致运行速度太慢。
原因：是由于HaddopRDD生成过程中partitions是会拿参数mapreduce.job.maps ,或mapred.map.tasks（25）和spark默认分区数(2)做最大值比较，所以导致默认为25
解决方法：修改该参数就可以将task降下来。

Sparksql使用过程中Executor端抛出：java.lang.OutOfMemoryError: GC overhead limit exceeded
原因：这是由于大部分事件都在GC，导致OOM。
解决方法：加大执行器内存，修改GC策略spark.executor.extraJavaOptions -XX:+UseG1GC

常见OOM：java.lang.OutOfMemoryError: Java heap space
原因：1.数据量太大，申请的Executor资源不足以支撑。2.单分区的数据量过大，和分区数过多导致执行task和job存储的信息过多导致Driver OutOfMemoryError
解决方法：1、尽量不要使用collect操作。2、查看数据是否有倾斜，增加shuffle的并行度，加大Executor内存

jar包版本冲突时：java.lang.ClassNotFoundException: XXX
原因：一般可能是用户jar和Spark jar冲突
解决方法：1、最好和Spark相关的jar进行适配。2、如果不行可以使用参数：spark.driver.userClassPathFirst和spark.executor.userClassPathFirst 设置为true

消费kafka时，读取消息报错：OffsetOutOfRangeException
原因：读取的offsetRange超出了Kafka的消息范围，如果是小于也就是kafka保存的消息已经被处理掉了（log.retention.hours）。或者超出Kafka现有的offset
解决方法：在读取offset时先进行校正，拿到offset的earliestOffset 和lastestOffset

消费kafka时，第一个job读取了现有所有的消息，导致第一个Job处理过久甚至失败
原因：auto.offset.reset设置为了earliest 从最早的offset开始进行消费，也没有设置spark.streaming.kafka.maxRatePerPartition参数
解决方法：指定从之前开始消费的数据开始：设置offsetRange。并将参数设置为：auto.offset.reset=latest 设置Spark每个分区的速率。

关注