Spark的学习2-IDE

当使用Maven构建好项目后，现在要开始学习Spark的设计及具体实现，就是源码了。

在Google上查到的比较多的IDE就是Scala + Eclipse , Scala + NetBeans和Scala + IntelliJ Idea. 因为以前一直使用的Eclipse,所以Scala + Eclipse当然是优选了。

下了一个ScalaIDE,它的Eclipse的Scala订制版(http://scala-ide.org/),把构建好的Spark maven项目导进去， 一直有错误，大概就是一些类找不到的错误，在工作区查了一下，都是一些.scala对应的类。我猜想可能的原因就是那些Scala文件没有正确被编译， 于是Google,最后有一个方案是把spark-assembly-1.1.0-hadoopXXX.jar添加进来（这个文件可以从Spark的预编译包里获取），试了一下，类找不到的问题就不见了，但是修改了一下scala文件,那个scala文件就显示一堆错误，无法编译了。搞了好久，无果。查了Google,说Scala语言太灵活，现在的IDE都不能很好的支持，说是IntelliJ Idea对Scala语言的支持要好点，所以果断换IntelliJ Idea试一下，现在的版本是13.1.

以前JBuilder时代，IntelliJ Idea就是其中的主要竞争者，不过以前试用了n次，每次都放弃。究其原因，可能有几个：
1. 操作习惯与JBuilder及Eclipse有很大的不同，总之不顺手，
2. 另外一个原因就是处理大的项目速度慢，完全没办法和JBuilder和Eclipse比。Eclipse虽然有时候也"发发脾气",但整体来说，还是比较好用的，不过现在的版本是又大又不好用。说远了，
3. 功能太过强大，这样也给用户带来太多的复杂性。

导入项目以后，还要添加Scala和SBT的支持，具体的方法是:
File -> Setttings -> Plugins -> Browse Repositories , 在查找框里输入Scala,找到Scala,点右边窗口的Install Plugin, 找到SBT,并安装它，这个是用来构建Scala的工具。

这样我们就大功告成了。因为没有使用过IntelliJ Idea,所以我要花一点时间用一下，同时Spark是用Scala写的，另外听说Scala的学习曲线很陡，所以要学习Spark源代码，学习Scala也是必不可少的了。后面我会两至三天写一篇关于Spark学习的文档，希望大家一起来学习，探讨。

IntelliJ Idea 关于Scala相关的参考:

http://confluence.jetbrains.com/display/IntelliJIDEA/Scala+Development

Scala Console 使用: .scala -> Ctrl + Shift + D --> Ctrl + Enter执行