Spark踩坑

最新推荐文章于 2024-02-20 22:11:38 发布
VIP文章 最新推荐文章于 2024-02-20 22:11:38 发布
阅读量5.7k 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liyo300687/article/details/78058886
版权

Spark sql以elasticSearch为数据源，访问数据，问题记录表：

问题1：

java.lang.RuntimeException: java.io.InvalidClassException: org.apache.spark.rpc.netty.RequestMessage; local class incompatible: stream classdesc serialVersionUID = -2221986757032131007, local class serialVersionUID = -5447855329526097695

at java.io.ObjectStreamClass.initNonProxy(ObjectStreamClass.java:617)

at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1622)

at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1517)

at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1771)

at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350)

at java.io.ObjectInputStream.readObject(ObjectInputStream.java:370)

解决办法：客户端spark版本和spark服务层版本不一致。统一客户端jar和服务端版本解决。

问题2：

java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:F:/WorkSpace/Work/AI+/AI+doc/spark
最低0.47元/天 解锁文章
李小耀
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark 读写 minio 【文件名称修改、Dataframe 写成单个文件，删除文件、bug修复等】
shiter编写程序的艺术
06-03 2593
文章大纲minio 简介spark dataframe 保存 csvspark 操作minio 重命名单个文件重命名多个文件重命名参考文档 minio 简介 MinIO 是全球领先的对象存储先锋，目前在全世界有数百万的用户. 在标准硬件上，读/写速度上高达183 GB / 秒 和 171 GB / 秒。 对象存储可以充当主存储层，以处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为Hadoop HDFS的替代品。 MinIO用作云原生应用程序的主要存储，与传统对象存
为什么能在Presto中可以运行的sql却在SparkSQL中报错？
默主归沙的博客
03-28 1275
真的对于sql语句，在presto里面查询，Pass.... 在sparksql中加载，一跑就... Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: article_embedding; line 23 pos 18 at org.apache.spark.sql.catalyst.analysis.package$AnalysisErrorAt.fa...
spark的Catalyst到底做了什么
最新发布
oTianShangDiXia的博客
02-20 935
spark的Catalyst到底做了什么
Scala避坑：Caused by: java.io.IOException: unexpected exception type
superY_26的博客
01-21 2829
问题描述： 本地利用sbt打包上传到服务器集群上运行，报错：Caused by: java.io.IOException: unexpected exception type。 本地环境Scala本版2.12.15，spark版本2.3.2。 本文的报错代码是： val data = df.where("key=val1").first() 解决方案： 在网上找了很多解决办法，替换函数等各种尝试，结果都没能解决问题。最后发现是因为Scala版本不一致导致的问题。 检查服务器上的Scala版本是2.11.8
org.apache.spark.sql.AnalysisException: Table or view not found: `traintext`.`train`; line 1 pos 14;
pan_haufei的博客
09-20 1万+
恭喜老铁，跟我遇到了一样的问题，接下来是解决方法： 遇到的问题： org.apache.spark.sql.AnalysisException: Table or view not found: `traintext`.`train`; line 1 pos 14; 'Project [*] +- 'UnresolvedRelation `traintext`.`train` at o
hadoop，spark如何集成Mino
Meta.Qing的博客
03-27 1314
MinIO是一个S3兼容的对象存储系统，可以与Hadoop和Spark等大数据框架进行集成，实现数据存储和分析。
运行spark sql时出现的一个问题
weixin_30849591的博客
09-30 1913
运行如下代码时 出现了 org.apache.spark.sql.AnalysisException 错误 import org.apache.log4j.{Level, Logger} import org.apache.spark.sql.{DataFrame, Dataset, SparkSession} /** * 使用SaprkSQL实现iplocation ...
个人总结-Spark运行异常问题汇总
qq_34560135的博客
07-17 5689
Exception in thread “main” org.apache.spark.SparkException: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. $ vim /etc/profile #添加以下两句话 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_
Spark踩坑记——SparkStreaming+Kafka
02-25
在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。...
spark toolsssss
10-07
spark toolsssss
spark-3.3.0
07-01
spark 3.3.0
spark search
06-20
spark search
解决Java中的IOException异常
热门推荐
weixin_45934981的博客
05-29 2万+
IOException是Java中的一个受检查异常（Checked Exception）。它是java.io包中定义的异常类之一，用于表示输入输出操作期间可能发生的错误或异常情况。
在IDEA中调试运行Spark SQL
美伊小公主的超级奶爸的专栏
08-04 7308
昨晚想通过调试的方式阅读一下Spark SQL的源码， 用spark-sql命令行需要跨进程调试，太麻烦，于是尝试了一下在IDEA中运行和调试. 结果不出所料，虽然最终可以在IDEA中成功运行了，不过中间还是遇到了不少问题，在这篇文章中总结一下. 应用程序比较简单: case class Person(name: String, value: String) object SparkS
spark读写minio文件代码实践
一个人的人生
08-14 612
Minion作为一个先进的对象存储方案，对于大数据和人工智能的支持有着天然的优势。它支持与Spark\Flink等技术方案进行整合，并且通过S3协议实现数据查询的下沉，这让大数据的存储与查询分离提供了事实依据。（2） 根据部署的minio服务的信息（如端口、Access Key、Secret Key、存储桶名称等），创建一个SparkSession对象，可以使用如下步骤进行读写Minio。（1） 首先，需要部署minio服务集群，搭建minio对象存储桶，可以参考我的文章。
SparkSession 访问 Hive 表数据报错：org.apache.spark.sql.AnalysisException: Table or view not found
weixin_37417954的博客
07-04 3374
错误场景 当通过 SparkSession 访问 hive 中的表数据时，报错如下： Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: emp; line 1 pos 47 at org.apache.spark.sql.catalyst.analys...
Minio Hadoop-3.3.0 Spark-3.0.0 集群搭建和代码测试
VanciorH的博客
08-05 2240
文章目录任务简介主要参考挂载磁盘配置hosts和SSH免密登录安装Minio集群配置node环境配置HadoopYARNSparkSpark访问minio文件spark localspark standalone clusterspark yarnpysparkkoalas 任务简介 此项任务主要是给组里搭建一套用于数据分析的Spark集群，共5台4C8G的机器，集群内IP和外网IP如下图所示。先搭建了Minio集群用于一些安装包的分发（并且Minio可以通过网页上传数据文件，在Spark中使用s3地址进行
Spark常见问题汇总
aiwode1234的专栏
05-16 1099
注意：如果Driver写好了代码，eclipse或者程序上传后，没有开始处理数据，或者快速结束任务，也没有在控制台中打印错误，那么请进入spark的web页面，查看一下你的任务，找到每个分区日志的stderr，查看是否有错误，一般情况下一旦驱动提交了，报错的情况只能在任务日志里面查看是否有错误情况了1、Operation category READ is not supported in state
基于Apache Hudi + MinIO 构建流式数据湖
hzp666的博客
12-11 565
Hudi 包含许多非常强大的增量查询功能，元数据是其中的核心，允许将大型提交作为较小的块使用，并完全解耦数据的写入和增量查询。文件夹中，在我们的例子中是存储桶。为了展示 Hudi 更新数据的能力，我们将对现有行程记录生成更新，将它们加载到 DataFrame 中，然后将 DataFrame 写入已经保存在 MinIO 中的 Hudi 表中。表格式由表的文件布局、表的模式（Schema）和跟踪表更改的元数据组成。Hudi 的设计预计基于键的快速更新插入和删除，因为它使用文件组的增量日志，而不是整个数据集。
spark踩坑系列1——spark streaming+kafka
07-27
spark streaming 是基于 spark 引擎的实时数据处理框架，可以通过集成 kafka 来进行数据流的处理。然而，在使用 spark streaming 进行 kafka 数据流处理时，可能会遇到一些坑。 首先，要注意 spark streaming 和 kafka 版本的兼容性。不同版本的 spark streaming 和 kafka 可能存在一些不兼容的问题，所以在选择版本时要特别留意。建议使用相同版本的 spark streaming 和 kafka，以避免兼容性问题。 其次，要注意 spark streaming 的并行度设置。默认情况下，spark streaming 的并行度是根据 kafka 分区数来决定的，可以通过设置 spark streaming 的参数来调整并行度。如果并行度设置得过高，可能会导致任务处理过慢，甚至出现 OOM 的情况；而设置得过低，则可能无法充分利用集群资源。因此，需要根据实际情况进行合理的并行度设置。 另外，要注意 spark streaming 和 kafka 的性能调优。可以通过调整 spark streaming 缓冲区的大小、批处理时间间隔、kafka 的参数等来提高性能。同时，还可以使用 spark streaming 的 checkpoint 机制来保证数据的一致性和容错性。但是，使用 checkpoint 机制可能会对性能产生一定的影响，所以需要权衡利弊。 最后，要注意处理 kafka 的消息丢失和重复消费的问题。由于网络或其他原因，可能会导致 kafka 的消息丢失；而 spark streaming 在处理数据时可能会出现重试导致消息重复消费的情况。可以通过配置合适的参数来解决这些问题，例如设置 KafkaUtils.createDirectStream 方法的参数 enable.auto.commit，并设置适当的自动提交间隔。 总之，在使用 spark streaming 进行 kafka 数据流处理时，需要留意版本兼容性、并行度设置、性能调优和消息丢失重复消费等问题，以免踩坑。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值