maven实战(三)maven构建scala的项目以及maven环境bug修复

1、选择maven可选的模版创建scala项目
在这里插入图片描述
2、配置gva坐标,选择对应的maven依赖、setting文件。
在这里插入图片描述
3、直接点击下一步,选择对应项目的路径地址。
4、最后修改project structure
在这里插入图片描述

5、中间因为maven环境问题,导致项目创建失败,src文件夹也创建失败。
在这里插入图片描述

6、后面发现是setting文件中的镜像问题,镜像越多反而会让项目加载失败。
后面更新了mirror,只填写了阿里云的镜像源,其余的都删除了。

<mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>        
</mirror>

7、最后项目创建成功了,src文件夹也有了。

----其实也可以创建空白的project,后续自己添加依赖。
直接点击next, 填写对应的gva,后续点击下一步即可完成创建。
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
搭建 Maven + Spark + Scala 项目,可以按照以下步骤进行: 1. 安装 Maven 首先需要安装 Maven,可以从 Maven 官网下载对应的安装包进行安装。 2. 创建 Maven 项目 打开命令行或者终端,进入项目存储的目录,执行以下命令创建 Maven 项目: ``` mvn archetype:generate -DgroupId=com.example -DartifactId=my-app -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false ``` 其,`com.example` 是项目的包名,`my-app` 是项目名称,`maven-archetype-quickstart` 是 Maven 的一个基础模板。 创建完毕后,进入项目目录,可以看到项目结构如下: ``` my-app |-- pom.xml `-- src |-- main | `-- java | `-- com | `-- example | `-- App.java `-- test `-- java `-- com `-- example `-- AppTest.java ``` 3. 添加 Spark 和 Scala 依赖 在 `pom.xml` 文件添加 Spark 和 Scala 的依赖: ```xml <dependencies> <!-- Spark --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.5</version> </dependency> <!-- Scala --> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.12</version> </dependency> </dependencies> ``` 其,`spark-core_2.11` 和 `scala-library` 的版本可以根据需求进行修改。 4. 编写 Scala 代码 在 `src/main/scala` 目录下创建 Scala 文件,编写 Spark 代码。 例如,创建一个 `WordCount.scala` 文件,编写如下代码: ```scala import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("WordCount").setMaster("local") val sc = new SparkContext(conf) val textFile = sc.textFile("input.txt") val wordCount = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b) wordCount.saveAsTextFile("output") sc.stop() } } ``` 该代码可以实现读取文件 `input.txt`,统计每个单词出现的次数,并将结果输出到文件 `output` 。 5. 打包和运行项目 在命令行或者终端,进入项目目录,执行以下命令进行打包: ``` mvn package ``` 打包成功后,在项目目录下的 `target` 目录会生成一个 `my-app-1.0-SNAPSHOT.jar` 文件。 然后就可以使用以下命令来运行项目: ``` spark-submit --class com.example.WordCount my-app-1.0-SNAPSHOT.jar ``` 其,`com.example.WordCount` 是 `WordCount.scala` 文件的类路径。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值