IDEA配置scala环境:https://blog.csdn.net/qq_40343117/article/details/100923820
1、首先我们打开IDEA,新建一个MAVEN项目。
名字自己起:
##### 2、然后我们找到pom.xml文件,修改内容。
输入:
大家将配置代码输入pom.xml的 《project 》《 /project》之内,这次的不用修改它的配置版本,因为scala和spark一定要适配的版本才会在运行的时候没有乱七八糟的bug或者 错误,这里的代码是我自己测试可以使用的,大家不可以也可以上网找一些其他的攻略。
<properties>
<spark.version>2.1.1</spark.version>
<scala.version>2.11.9</scala.version>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>${spark.version}</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin> <groupId>org.scala-tools</groupId>
<artifactId>maven-scala-plugin</artifactId>
<version>2.15.2</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>testCompile</goal>
</goals>
</execution>
</executions>
</plugin>
<plugin>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.6.0</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-surefire-plugin</artifactId>
<version>2.19</version>
<configuration>
<skip>true</skip>
</configuration>
</plugin>
</plugins>
</build>
3、更改pom.xml右下角会提示import changes,我们单击后就会自己下载对性的maven jar包自己配置好环境,大家等待完成后,如果不能新建scala文件,请右键项目选择:
在红框内找到scala勾选,单击OK就可以,我是已经配置过了,所以这里没有显示,还没有的回到开头,点击链接检查一下自己的scala配置问题。
4、这就配置完成了,大家可以测试代码是否可以正常运行了
WORD COUNT 例题:
object WordCount {
def main(args: Array[String]): Unit = {
val conf = new SparkConf()
.setAppName("wordcount")
.setMaster("local")
val sc = new SparkContext(conf)
val textFile = sc.textFile("hdfs://h01:9000/scala/README.md"
val wordsRDD = textFile.flatMap(_.split(" "))
val wordCountRDD = wordsRDD.map((_, 1)).saveAsTextFile("file:\\E:\\out")
sc.stop
}
}
完美运行!!===============================================================