1. IDEA环境
1.1 安装scala插件
在IDEA的插件市场安装Scala插件
1.2 Maven安装
下载地址:https://archive.apache.org/dist/maven/maven-3/
在Windows中,解压,修改参数:
#修改conf目录下的setting文件
#更换镜像为阿里源 位置在155行左右
<mirror>
<id>AliMaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
#新建MavenRepository,用于存储下载的依赖包
1.3 Scala安装
下载地址:https://www.scala-lang.org/download/
在Windows中,解压,是否添加到环境变量不影响工程。Scala的版本选择,则取决于开发所用对应的Spark内核版本。
1.4 Spark本地测试环境
使用Linux同一个版本的Spark安装包,解压,然后添加到环境变量。
1.5 创建Maven工程
分别对应的是工程名称与工程文件存放地址
点击对Maven环境进行修改
指定为自行安装的Maven路径、配置文件、依赖包存储路径。缺省值为默认Maven
修改pom文件
#1.8为对应的java版本
#其余则为对应程序的版本号
<properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<scala.version>2.11.12</scala.version>
<spark.version>2.4.1</spark.version>
<hadoop.version>2.9.2</hadoop.version>
<encoding>UTF-8</encoding>
</properties>
#依赖包,目前仅需要这些
<dependencies>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>${scala.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>${spark.version}</version>
</dependency>
</dependencies>
#打包插件
<build>
<pluginManagement>
<plugins>
<!-- 编译scala的插件 -->
<plugin>
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<version>3.2.2</version>
</plugin>
<!-- 编译java的插件 -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.5.1</version>
</plugin>
</plugins>
</pluginManagement>
<plugins>
<plugin>
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<executions>
<execution>
<id>scala-compile-first</id>
<phase>process-resources</phase>
<goals>
<goal>add-source</goal>
<goal>compile</goal>
</goals>
</execution>
<execution>
<id>scala-test-compile</id>
<phase>process-test-resources</phase>
<goals>
<goal>testCompile</goal>
</goals>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<executions>
<execution>
<phase>compile</phase>
<goals>
<goal>compile</goal>
</goals>
</execution>
</executions>
</plugin>
<!-- 打jar插件 -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>3.2.4</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
1.6 新建包
进入工程路径,src/main,新建scala文件夹,指定为源码包
在scala中,新建包[com.stu.sparkcore]用于存放代码
能正常创建scala文件为正常,无法创建的话,则需要在[Project Structure]中添加Global Libraries中的scala环境
1.7 本地测试
新建scala.object,正常输出则为测试环境正常,hdfs路径上的测试文件需自行上传。
import org.apache.spark.{SparkConf, SparkContext}
object WordCount {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
val sc = new SparkContext(conf)
val lines = sc.textFile("hdfs://stu:9000/input")
val output = lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect().foreach(println)
sc.stop()
}
}
1.8 submit提交
#修改代码,将Master指定为虚拟机Spark服务
import org.apache.spark.{SparkConf, SparkContext}
object WordCount {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("spark://stu:7077").setAppName("WordCount")
val sc = new SparkContext(conf)
val lines = sc.textFile("hdfs://stu:9000/input")
val wordCountOut = lines.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
wordCountOut.collect().foreach(println)
sc.stop()
}
}
1.8.1 maven打包
在编译器中打开命令行,默认定位到工程文件路径,执行打包命令,等待打包完成
mvn clean package
打包完成后,会在工程文件路径下生成target文件,上传jar文件到Linux环境
1.8.2 submit提交
进入到SPARK_HOME/bin路径下
#命令分析
#--class:对应执行的对象名【object】
#--master:指定Spark运行模式
#--executor-memory:执行内存
#--total-executor-cores:计算核心
#最后指定jar包的存放路径
#命令需要在SPARK_HOME/bin 运行
spark-submit --class com.stu.sparkcore.test.WordCount --master spark://stu:7077 --executor-memory 1G --total-executor-cores 1 /home/jars/spark_stu-1.0-SNAPSHOT.jar
命令行打印成功
资源管理界面执行成功