修改《Spark快速大数据分析》的WordCount.java，使它通过maven编译，并在Spark2上运行

最新推荐文章于 2021-02-17 01:39:08 发布

cshore

最新推荐文章于 2021-02-17 01:39:08 发布

阅读量1.3k

点赞数

分类专栏： Spark2 大数据文章标签： Spark2 WordCount Java 大数据 Maven

本文链接：https://blog.csdn.net/cshore/article/details/77698271

版权

环境介绍

jdk1.8、maven3.5、spark2 2.0.0

工作路径：

D:\learning-spark-master\mini-complete-example\

首先修改D:\learning-spark-master\mini-complete-example\pom.xml，修改

<groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.11</artifactId>
      <version>2.0.0</version>

 <java.version>1.8</java.version>

<artifactId>maven-compiler-plugin</artifactId>
          <version>3.5</version>

修改maven为国内镜像可以参照http://blog.csdn.net/u010717403/article/details/52188496

运行 mvn clean&&mvn compile

错误提示1：

[ERROR] No plugin found for prefix 'lint' in the current project and in the plugin groups [org.apache.maven.plugins, org.codehaus.mojo] available from the repositories [local (C:\Users\root\.m2\repository), central (https://repo.maven.apache.org/maven2)] -> [Help 1]
org.apache.maven.plugin.prefix.No