Maven在一个项目中整合Java Spark 与 Scala Spark

最新推荐文章于 2024-08-30 19:00:00 发布

zhuhailong

最新推荐文章于 2024-08-30 19:00:00 发布

阅读量3k

点赞数

分类专栏： Scala 文章标签： maven scala spark java

本文链接：https://blog.csdn.net/u011317245/article/details/52422085

版权

本文介绍了如何在一个Maven项目中整合Java和Scala，以及如何添加Spark的相关依赖，包括spark-core_2.11、spark-streaming_2.11、spark-streaming-kafka_2.11和spark-hive_2.11等，确保项目兼容Scala 2.11版本。步骤包括新建Maven项目，添加Scala环境，配置pom.xml文件，并展示最终整合效果。

摘要由CSDN通过智能技术生成

第一步：

新建一个普通的Maven项目

第二步：

右击项目选择 config --> 选择添加 scala环境，会自动在eclipse/plugins中下载两个文件

org.scala-lang.scala-library.source_2.11.8.v20160304

org.scala-lang.scala-reflect.source_2.11.8.v20160304

第三步：

修改pom.xml文件，导入Java和Scala 开发 Spark需要的jar包

（需要注意的是在第二步添加Scala环境的时候，默认Scala版本是2.11 所以添加Jar也要2.11的版本，否则会提示scala version problem 问题）

<dependencies>
       <dependency>
           <groupId>junit</groupId>
           <artifactId>junit</artifactId>
           <version>3.8.1</version>
           <scope>test</scope>
       </dependency>
       <dependency>
           <groupId>org.apache.spark</groupId>
           <artifactId>spark-core_2.11</artifactId>
           <version>1.6.1</version>
           <scope>provided</scope>
       </dependency>
       <dependency>
           <groupId>org.apache.spark</groupId>
           <artifactId>spark-streaming_2.11</artifactId>
           <version>1.6.1</version>
       </dependency>