eclipse+maven+scala+spark项目环境搭建

最新推荐文章于 2020-07-01 18:15:41 发布

原创

最新推荐文章于 2020-07-01 18:15:41 发布 · 936 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#scala #spark环境搭建

本文详细介绍了如何使用Eclipse、Maven和Scala搭建Spark项目环境，包括Java的安装、Maven的配置、Scala IDE的设置、Spark项目的创建、Hadoop的配置以及运行测试的步骤。针对环境配置过程中可能出现的问题，如版本匹配和错误解决方法进行了说明。

eclipse+maven+scala+spark项目环境搭建win7自用记录

eclipse+maven+scala+spark项目环境搭建

eclipse+maven+scala+spark项目环境搭建

几个重要的点：
eclipse的安装，maven的配置，版本问题，一些问题尝试解决法
公司需要，给一台电脑新配了一回环境，这里做个记录

java的安装：

首先使用的IDE是从这里下载的：http://scala-ide.org/
下载使用的是4.7版本，可以看出这的版本的IDE要求的jdk是版本8的，所以使用的java应该改成相应的版本，以后对于指定版本的IDE一定要使用指定的java版本，我就在这里折腾很长时间，我目前使用的版本是：
java版本注意

Maven的安装和设置：

使用的Maven的版本和安装包
在这就不放连接了
之后设置Maven_HOME，添加PATH路径，通过命令mvn -version查看是否配置成功：
注意版本
更改其中的setting配置文件，主要修改仓库的存储位置和国内的镜像：

<localRepository>D:\apache-maven-3.6.1\res</localRepository>

这个路径需要新建；

    <mirror>
         <id>nexus-aliyun</id>
         <mirrorOf>*</mirrorOf>
         <name>Nexus aliyun</name>
         <url>http://maven.aliyun.com/nexus/content/groups/public</url>
    </mirror>

在IDE中需要更改maven中的user seeting 设置成上述路径
设置seeting文件