Spark 之 Java+Maven 工程构建的一点坑

最新推荐文章于 2024-05-08 02:08:23 发布

wuhulala

最新推荐文章于 2024-05-08 02:08:23 发布

阅读量1.2k

点赞数

分类专栏： spark 文章标签： spark 初学

本文链接：https://blog.csdn.net/u013076044/article/details/81253489

版权

Class 不兼容

有如下的错误，

java.lang.RuntimeException: java.io.InvalidClassException: org.apache.spark.rpc.netty.RequestMessage; local class incompatible: stream classdesc serialVersionUID = -5447855329526097695, local class serialVersionUID = -2221986757032131007

明眼一看就是类在序列化和反序列化的类版本不一致导致的
因为一开始依赖的包是apache的包
但是使用的是CDH集群安装的Spark
所以客户端和服务端类不一致
修改客户端依赖jar包即可

   <dependencies>

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wuhulala

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Spark之Java独立应用编程Maven

qq_36292658的博客

03-19

549

环境如下：(更新了林子雨教程中不可使用的部分) Hadoop 2.7.1 java JDK 11 Spark 3.1.1 1.maven安装 2.java应用程序编码 /*** SimpleApp.java **/ import org.apache.spark.api.java.; import org.apache.spark.api.java.function.Function; public class SimpleApp { public static void main(String

spark java maven jar_Maven打包Java版的spark程序到jar包，本地Windows测试，上传到集群中运行...

weixin_31570865的博客

03-02

502

作者：翁松秀Maven打包Java版的spark程序到jar包，本地Windows测试，上传到集群中运行文章目录Maven打包Java版的spark程序到jar包，本地Windows测试，上传到集群中运行Step1：Maven打包Jar包Step2：本地测试spark程序Step3：Jar包上传到集群Step4：集群上提交Jar包学习spark的路漫漫啊~前面搭建好了本地环境，用eclipse跑了...

参与评论您还未登录，请先登录后发表或查看评论

spark java maven_开发系列：01、使用Java和Maven开发Spark应用

weixin_42396918的博客

02-26

157

1 packagecom.hansight.spark.streaming;23 importjava.lang.reflect.Field;4 importjava.util.HashMap;5 importjava.util.Iterator;6 importjava.util.Map;78 importorg.elasticsearch.action.bulk.BulkRequestBuil...

spark（2）-入门spark之java maven wordcount实验

王小禾

12-03

2990

第一个java spark wordcount实验 spark官网 WordCount Example实验

【Spark学习笔记】1、Java-Maven-Spark项目环境搭建

hellboy0621的博客

02-28

1273

现在学习个新技术，虽然网上资料多得很，但是质量参差不齐！恕在下愚昧，实在想不懂那些都不验证帖子里技术的正确性就直接转载的那些人，心里是怎么想的！你要是感觉帖子好，请默默的收藏到你的收藏夹里，等你确定帖子内容没错的时候你再转载好不好？你不知道你这样做，对这个技术的新手来说，无疑是灾难！你埋那么多坑，是怕别人学会了超越你吗？哎，言归正传，以下是我自己的学习总结，如果有哪里有错误、有问题，欢迎批评指...

基于maven构建的spark项目模板+源代码+文档说明

04-01

Spark+ECLIPSE+JAVA+MAVEN windows开发环境搭建及入门实例【附详细代码】

热门推荐

泰格数据

06-18

1万+

本文旨在记录初学Spark时，根据官网快速入门中的一段Java代码，在Maven上建立应用程序并实现执行。首先推荐一个很好的入门文档库，就是CSDN的Spark知识库，里面有很多spark的从入门到精通的形形色色的资料， 1.开发软件恭喜你，拿到spark驾考名额了，可以开始参加驾校培训了~http://lib.csdn.net/base/spark 大概理解下：spark主要分为 1.核心 2.实时streaming 3.对sql支持sparksql 4.机器学习mllib 还有

基于maven搭建spark工程

an13654067079的博客

07-29

588

基于maven搭建spark工程

IntelliJ IDEA构建基于maven的spark+hbase工程（scala语言）

豪大大的博客

11-08

5010

利用IDEA来编写基于maven的scala程序，主要功能用来支持从hbase中拉取数据供spark进行mapreduce运算。

Spark结合Kafka利用maven打tar运行包

05-24

Spark结合Kafka利用maven打tar运行包

java+maven开发spark demo程序

liaomingwu的专栏

01-13

3356

java+maven开发spark demo程序

Maven打包Java版的spark程序到jar包，本地Windows测试，上传到集群中运行

Mr.Write的博客

08-22

7442

Maven打包本地spark程序到jar包，上传到集群中运行 Step1：Maven打包Jar包 win + R 打开运行窗口输入cmd打开命令行窗口，切换到程序所在目录，我的目录是 E:\code\JavaWorkspace\SparkDemo 编译程序 mvn compile 打包程序 mvn package 如果程序没有特殊情况，比如缺胳膊少腿，打包完后回看到...

开发系列：01、使用Java和Maven开发Spark应用

wcqlwyt的博客

05-15

201

1、POM.xml 1 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2

maven环境下使用java、scala混合开发spark应用

Forever-守望

01-09

9397

熟悉java的开发者在开发spark应用时，常常会遇到spark对java的接口文档不完善或者不提供对应的java接口的问题。这个时候，如果在java项目中能直接使用scala来开发spark应用，同时使用java来处理项目中的其它需求，将在一定程度上降低开发spark项目的难度。下面就来探索一下java、scala、spark、maven这一套开发环境要怎样来搭建。1、下载scala sdkht

java spark 开发环境搭建_spark本地开发环境搭建（maven + scala + java）

weixin_28769141的博客

02-24

510

开发工具和软件版本信息IDEA2019.2JAVA1.8Scala2.11.12Spark2.4.3Hadoop2.7.7WindowsWin10专业版64位Centos7.5部署Spark和Hadoop本地模式1)下载spark和Hadoopspark，选择pre_build版本，也就是编译好的版本http://mirror.bit.edu.cn/apache/spark/spark-2.4.3...

2024年最全华为OD机试之数字字符串组合倒序（Java源码）(1)，开源新作

最新发布

2401_84690353的博客

05-08

236

总而言之，面试官问来问去，问的那些Redis知识点也就这么多吧，复习的不够到位，知识点掌握不够熟练，所以面试才会卡壳。将这些Redis面试知识解析以及我整理的一些学习笔记分享出来给大家参考学习本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录需要这份系统化的资料的朋友，可以点击这里获取。

参考 Apache Spark 实现 Java 和 Scala 的 maven 混合编译

Shockang的博客

11-24

4447

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系正文 WHY 如果你开发过 Scala 工程，那么你可能被 Java 和 Scala 的混合编译苦恼过。如果你搜索了网上其他的 Java 和 Scala 混合编译文档，那么你可能被坑过，不是 Java 没法编译，就是 Scala 没法编译，还有可能都无法编译。。 WHAT 下面的示例代码参考自 Apache

使用java开发spark实战

cary_1991的专栏

04-26

7336

课程内容使用java开发spark 实战一：环境搭建安装jdk 和maven。 1. 安装jdk并配置环境变量系统变量→新建 JAVA_HOME 变量。变量值填写jdk的安装目录（本人是 E:\Java\jdk1.7.0) 系统变量→寻找 Path 变量→编辑在变量值最后输入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;（注意

Idea中Java与Spark项目：Maven工程创建与打包详解

2. **创建Maven工程**: 在新项目向导中，输入项目名称，确保选择正确的项目类型，如"Java"或"Spark"，具体取决于你需要构建的是Java应用还是Spark项目。在创建过程中，注意勾选适当的配置选项，以便IDE自动生成必要...