爬坑：spark项目打包报错(java和scala混编)

最新推荐文章于 2024-07-11 16:57:04 发布
最新推荐文章于 2024-07-11 16:57:04 发布
阅读量1k 收藏 2
点赞数
分类专栏： spark scala 文章标签： maven
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38799368/article/details/83050650
版权

项目打包：mvn clean package -DskipTests
java和scala混编打包
报错：
/Users/rocky/source/work/sparktrain/src/main/scala/com/zoujc/spark/project/dao/CourseSearchClickCountDao.scala
在这里插入图片描述
把pom.xml文件中<build>下指定sourceDirectory的配置注释掉。因为这里只指定了scala代码的路径，所以编译的时候写在java路径下的HBaseUtil找不到。

我是60岁程序员
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
干货来袭！spark开发用java还是scala
m0_58591044的博客
06-30 2537
ActiveMQ 我们先看ActiveMQ。其实一般早些的项目需要引入消息中间件，都是使用的这个MQ，但是现在用的确实不多了，说白了就是有些过时了。我们去它的官网看一看，你会发现官网已经不活跃了，好久才会更新一次。 它的单机吞吐量是万级，一些小的项目已经够用了，但对于高并发的互联网项目完全不够看。 在高可用上，使用的主从架构的实现。 在消息可靠性上，有较低的概率会丢失数据。 综合以上，其实这个产品基本可以弃用掉了，我们完全可以使用RabbitMQ来代替它。 RabbitMQ rabbitMQ出现后，国内大部
大数据编程基础（Scala、JVM、Hadoop、Spark）
11-07
大数据编程基础书籍：Scala 、JAVA、JVM、Netty权威、TCP-IP详解、hadoop、spark等书籍 百度网盘地址（后续会有更新）
scala和java混合编译
05-07
博客配套文件，详细演示了在maven中如何混合编译java和scala共存的代码。
java 内嵌scala_Scala字符串插值的妙用，以及java+scala混合编程
weixin_32299949的博客
02-27 336
一我们在项目中遇到一个需求，输入为json字符串，如：{"title": "lrtest","alg": "LogisticRegression","params": {"inputTable": "xxx.lrtest3","labelColumn": "label","featureColumns": [{"columnName":"f0","columnType":"Double"},.....
Spark 教程 - Spark - 介绍及使用 Scala、Java、Python 三种语言演示
最新发布
qq_33240556的博客
07-11 233
Spark 支持多种编程语言，包括 Scala、Java、Python 等，下面我将简要介绍如何使用这三种语言进行 Spark 编程的基本示例。请注意，为了演示这些示例，你需要有Spark环境配置好，并且安装了相应的编程语言环境。
java scala 混合编程_Java&Scala混合编程
weixin_39576149的博客
02-13 199
1. mvn 创建一个普通的java工程后，添加如下信息：xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">4.0.0org.jerrymi...
scala java混合_Scala特性混合
cumt951045的博客
08-02 162
scala java混合 Scala | 特性混合 (Scala | Trait Mixins ) In Scala, the number of traits can be extended using a class or an abstract class. This is known as Trait Mixins. For extending, only traits, the blen...
scala-java 混编maven配置
baicd1990的博客
11-11 279
<build> <resources> <resource> <directory>src/main/resources</directory> <excludes> <exclude>*</exclude> </excludes> </resourc.
spark编译及运行常见错误
zyj8170的专栏
03-27 3117
### spark  下载      http://spark.apache.org/downloads.html ### 前提准备     # 安装 JDK，mvn 和 scale，并设置对应的JAVA_HOME,MVN_HOME 和 SCALA_HOME ### Spark 编译 （参考 http://spark.apache.org/docs/latest/bui
Spark项目Java和Scala混合打包编译
硅谷工具人
08-24 1600
实际开发用有时候引用自己写的一些java工具类，但是整个项目是scala开发的spark程序，在项目打包时需要考虑到java和scala混合在一起编译。今天看到之前很久之前写的一些打包编译文章，发现很多地方不太对，于是重新整理更新如下。
编写Spark：Scala与Java
专业的开发者“讨论”
04-22 622
Background 我于2019年4月上旬加入一个团队。他们正在编写Spark&#32844...
IDEA 中scala打包报错解决
大哥一声吼
05-29 3867
IDEA 中scala 打包报错解决
scala项目打包报编译错误：Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.4.6:compile (default)
qq_36640234的博客
09-22 3660
scala项目打包报编译错误：Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.4.6:compile (default) on project com.atguigu: wrap: org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1) 此处问题出现的原因可能为：项目放在了中文路径下面，java项目可以放在中
解决scala项目打包时出现Error: bad option -make:transitive的问题
weidianlun的博客
08-14 449
错误信息 Error: bad option -make:transitive 最近scala项目编译打包时候总是出现上述问题，目前最快捷的解决方案就是删除.idea目录下的scala_compiler.xml文件中的 但是这种方案治标不治本，每次加载后后仍会重新出现该问题，这里我们可以检查，在pom文件中是否存在下边的配置内容： <configuration> <args>
maven scala java 混合项目编译、打包（jar包）、运行
枪枪枪的博客
02-24 7744
文章目录说明java相关的插件scala相关的插件maven命令打包创建项目分别指定java和scala的source root路径编辑pom文件执行命令运行jaridea打包参考资料 说明 一开始用的是在idea中打包的方式，但是在更新项目结构或是更新以来后，需要手动的去修改原来的配置，不是很方便。于是查找资料看下用maven命令如何打包 java相关的插件 java代码编译与打包，我参考了这篇文章的内容，介绍的很详细：https://blog.csdn.net/dyq51/article/details
scala和java混合编译问题
L13763338360的博客
05-07 1077
接手一个纯scala项目，改造，加了些java代码，编译项目没有问题，但单独运行测试用例的时候出现异常了，跟了一段时间才解决。 运行testcase错误提示 scalac: error while loading Object, Missing dependency 'object scala in compiler mirror', required by /Library/Java/JavaVirtualMachines/jdk1.8.0_261.jdk/Contents/Home/jre/lib
scala与java混用_Scala和Java在同一个项目中
weixin_34991792的博客
02-26 1389
Q. Can I use Scala and Java in the same project?你当然可以.您可以在同一项目中一起使用大多数基于JVM的语言.Q. How do I go about it?基本思想是配置构建工具以编译Java和Scala代码.例如,如果使用Maven,则可以使用Maven Scala plugin编译Scala代码.使用此插件有两个选项：>默认情况下,禁用编...
java spark程序打包_Spark java+scala项目打包(jar)
weixin_42610010的博客
03-04 444
1.法1：maven打包pom.xml文件maven-assembly-pluginfalsejar-with-dependencies ch.kmeans2.SparkStreamingKMeansKafkaExamplemake-assemblypackageassemblyorg.scala-toolsmaven-scala-plugin2.15.2...
Scala Java 混合开发的项目如何通过 Maven 进行打包(配置文件也都添加进去)
Han_Lin-的博客
03-16 796
项目目录结构： pom.xml 中的打包代码：
spark sql执行报错java.lang.ClassNotFoundException: scala.jdk.CollectionConverters$
05-19
这个错误可能是因为您的代码中缺少了必要的依赖项。 `scala.jdk.CollectionConverters` 是Scala 2.13.x版本中的新特性，因此您需要确保您的Spark版本与Scala版本兼容。如果您使用的是Spark 3.0.x版本，请确保您使用的Scala版本为2.12.x。 另外，您还可以尝试将以下依赖项添加到您的pom.xml或build.gradle文件中： 对于Maven项目： ```xml <dependency> <groupId>org.scala-lang.modules</groupId> <artifactId>scala-collection-compat_2.12</artifactId> <version>2.1.6</version> </dependency> ``` 对于Gradle项目： ```groovy compile group: 'org.scala-lang.modules', name: 'scala-collection-compat_2.12', version: '2.1.6' ``` 如果您使用的是其他构建工具，请查找适当的依赖项并将其添加到您的构建文件中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值