IntelliJ IDEA和Scala IDE编写Spark

1.首先在网上下载ideaIliJ IDEA(https://www.jetbrains.com/idea/),点击下载即可

2.下载Scala(http://www.scala-lang.org/)，选择合适的版本下载，本文采用2.11.7,然后安装scala，配置环境变量即可，建议默认安装，省去很多不必要的东西。

然后打开电脑cmd，输入scala，当显示scala交互的界面表示已经安装成功了。

3.下载JDK8，这个网上百度一大堆，以及如何配置环境变量，因为scala也是运行在JVM上的

4.下载Scala IDE(http://scala-ide.org/download/sdk.html)

5.首先介绍Scala IDE如何使用scala，打开IDE，创建一个新的Scala Project，取名为HelloScala，这时候通常 出现和你所用的scala版本不相符的情况，如下，          这时候需要，右键选择工程的Properties，进入后再选择Scala compiler，点击Use Project Setting，选择和你所下载的scala版本相符合的Latest版本。然后按照创建Java的方式创建即可，只需要注意，可以在包下直接创建Object，输入以下测试代码

，最后右键run就可以了。

6.当采用IDEA的时候就比较复杂一点，首先需要scala插件才能创建工程，当你没有下载的时候，你可以先创建一个empty project，然后点击file->settings->Plugins，在搜索框输入Scala，然后安装就行了，然后点击file->project structure->Modules，点击绿色加号,创建new module，这时候应该就可以创建Scala的工程了，要是不行，可以重启一下，这时候要是Module SDK和Scala SDK没选择好，可以修改，Module的是JAVA sdk，然后新建一个scala class，当出现输入名字的时候，点击下拉框，选择新建object，同样输入上述代码，成功运行，到此全部结束。两者均可以运行scala

7.然后开始搭建spark，本文选择的是下载代码导入的方式，不采用maven，第一步，确保你的电脑上安装了hadoop，并且可以正常的运行，这个可以参考马士兵的hadoop教程，然后在这个页面下载spark(http://spark.apache.org/downloads.html)，一定要选择和你的hadoop版本一致的spark，并且选择Pre-build版本，下载下来解压即可，然后将解压后文件的bin目录，添加到Path环境变量，，打开cmd，输入spark-shell，正常运行，表示可以在本机采用命令行交互实现spark。

8.当采用IDEA，书写spark的时候，可以建立maven，也可以建立scala程序，本文建立了一个scala程序，就在上面的基础上，在IDEA中点击file->Project Structure->Libraries,选择Java，找到解压后的spark文件夹下的jars文件夹，选择这个文件夹，点击确定，一路确定即可，此时，External Libraries会出现三个，如下，这时候，先新建一个文本文件test.txt,输入如下内容，

 

输入一个测试程序，如下

 1 import org.apache.spark.{SparkConf, SparkContext}
 2 
 3 object hello {
 4   def main(args: Array[String]): Unit = {
 5     val conf=new SparkConf().setAppName("Test").setMaster("local")
 6     val sc=new SparkContext(conf)
 7     val files=sc.textFile("G:\\test.txt").flatMap(x=>x.split(" ")).map(x=>(x,1)).reduceByKey(_+_)//这里输入绝对路径
 8     files.collect().foreach(println)
 9   }
10 }

 

输出表示运行成功。

9.采用scala IDE的时候，采用类似导入Java包的方式进行导入，然后书写一样的代码进行测试，结果也是一样的。

 

 

 

 

 

转载于:https://www.cnblogs.com/SakerLiu/p/8658391.html