Spark项目之环境搭建（单机）五配置eclipse的scala环境，并创建spark项目

最新推荐文章于 2023-04-13 10:42:23 发布

尔笑惹千愁

最新推荐文章于 2023-04-13 10:42:23 发布

阅读量370

点赞数

分类专栏： spark 文章标签： scala环境

本文链接：https://blog.csdn.net/lx1309244704/article/details/83896012

版权

spark 专栏收录该内容

9 篇文章 2 订阅

订阅专栏

先安装scala 环境：

eclipse版：spring-tool-suite-3.9.1.RELEASE-e4.7.1a-win32-x86_64

下载地址：https://www.scala-lang.org/download/

然后配置环境变量，参考以下地址：

http://www.runoob.com/scala/scala-install.html

打开eclipse 然后 Help > Eclipse Marketplace

点击 install 继续下一步，直到安装成功。然后创建项目：

然后点击finish

然后点击项目：Build Path 》Configure Build Path

选择和你本机安装的匹配的版本

我这里选择的时2.11.11版本

如果你要想变成maven项目的话，操作如下：点击项目右键》 configure 》 Convert to Maven Project

然后Finish

创建一个scala Object；

在pom.xml添加依赖包

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>test</groupId>
  <artifactId>test</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <dependencies>
		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-core_2.11</artifactId>
			<version>2.3.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-sql_2.11</artifactId>
			<version>2.3.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-mllib_2.11</artifactId>
			<version>2.3.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-hive_2.11</artifactId>
			<version>2.3.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.8.4</version>
		</dependency>
		<!-- mysql的连接驱动依赖 -->
		<dependency>
			<groupId>mysql</groupId>
			<artifactId>mysql-connector-java</artifactId>
			<version>5.1.44</version>
		</dependency>
	</dependencies>
  <build>
    <sourceDirectory>src</sourceDirectory>
    <plugins>
      <plugin>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.7.0</version>
        <configuration>
          <source>1.8</source>
          <target>1.8</target>
        </configuration>
      </plugin>
    </plugins>
  </build>
</project>