三、Spark-Scala测试与开发环境

1. IDEA环境

1.1 安装scala插件

​ 在IDEA的插件市场安装Scala插件

1.2 Maven安装

​ 下载地址：https://archive.apache.org/dist/maven/maven-3/

​ 在Windows中，解压，修改参数：

#修改conf目录下的setting文件
#更换镜像为阿里源  位置在155行左右
<mirror>
      <id>AliMaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>        
 </mirror>

#新建MavenRepository，用于存储下载的依赖包

​

1.3 Scala安装

​ 下载地址：https://www.scala-lang.org/download/

​ 在Windows中，解压，是否添加到环境变量不影响工程。Scala的版本选择，则取决于开发所用对应的Spark内核版本。

1.4 Spark本地测试环境

​ 使用Linux同一个版本的Spark安装包，解压，然后添加到环境变量。

1.5 创建Maven工程

​ 分别对应的是工程名称与工程文件存放地址

​ 点击对Maven环境进行修改

​ 指定为自行安装的Maven路径、配置文件、依赖包存储路径。缺省值为默认Maven

​ 修改pom文件

#1.8为对应的java版本
#其余则为对应程序的版本号

<properties>
	<maven.compiler.source>1.8</maven.compiler.source>
	<maven.compiler.target>1.8</maven.compiler.target>
	<scala.version>2.11.12</scala.version>
	<spark.version>2.4.1</spark.version>
	<hadoop.version>2.9.2</hadoop.version>
	<encoding>UTF-8</encoding>
</properties>

#依赖包，目前仅需要这些
<dependencies>
	<dependency>
		<groupId>org.scala-lang</groupId>
		<artifactId>scala-library</artifactId>
		<version>${scala.version}</version>
	</dependency>
	<dependency>
		<groupId>org.apache.spark</groupId>
		<artifactId>spark-core_2.11</artifactId>
		<version>${spark.version}</version>
	</dependency>
</dependencies>

#打包插件
<build>
        <pluginManagement>
            <plugins>
                <!-- 编译scala的插件 -->
                <plugin>
                    <groupId>net.alchim31.maven</groupId>
                    <artifactId>scala-maven-plugin</artifactId>
                    <version>3.2.2</version>
                </plugin>
                <!-- 编译java的插件 -->
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>3.5.1</version>
                </plugin>
            </plugins>
        </pluginManagement>
        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <executions>
                    <execution>
                        <id>scala-compile-first</id>
                        <phase>process-resources</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                    <execution>
                        <id>scala-test-compile</id>
                        <phase>process-test-resources</phase>
                        <goals>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <executions>
                    <execution>
                        <phase>compile</phase>
                        <goals>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <!-- 打jar插件 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>3.2.4</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

1.6 新建包

​ 进入工程路径，src/main，新建scala文件夹，指定为源码包

​ 在scala中，新建包[com.stu.sparkcore]用于存放代码

​ 能正常创建scala文件为正常，无法创建的话，则需要在[Project Structure]中添加Global Libraries中的scala环境

1.7 本地测试

​ 新建scala.object，正常输出则为测试环境正常，hdfs路径上的测试文件需自行上传。

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]): Unit = {
	val conf = new SparkConf().setMaster("local[*]").setAppName("WordCount") 
    val sc = new SparkContext(conf)
      
    val lines = sc.textFile("hdfs://stu:9000/input")
    val output = lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect().foreach(println)
    sc.stop()

  }
}

1.8 submit提交

#修改代码，将Master指定为虚拟机Spark服务
import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("spark://stu:7077").setAppName("WordCount")
    val sc = new SparkContext(conf)

    val lines = sc.textFile("hdfs://stu:9000/input")
    val wordCountOut = lines.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
    wordCountOut.collect().foreach(println)
    sc.stop()
  }
}

1.8.1 maven打包

​ 在编译器中打开命令行，默认定位到工程文件路径，执行打包命令，等待打包完成

mvn clean package

​ 打包完成后，会在工程文件路径下生成target文件，上传jar文件到Linux环境

1.8.2 submit提交

​ 进入到SPARK_HOME/bin路径下

#命令分析
#--class：对应执行的对象名【object】
#--master：指定Spark运行模式
#--executor-memory：执行内存
#--total-executor-cores：计算核心
#最后指定jar包的存放路径
#命令需要在SPARK_HOME/bin 运行
spark-submit --class com.stu.sparkcore.test.WordCount --master spark://stu:7077 --executor-memory 1G --total-executor-cores 1 /home/jars/spark_stu-1.0-SNAPSHOT.jar 

​ 命令行打印成功

​ 资源管理界面执行成功