spark第1天

写在前面

从11月的最后一天开始呢，尝试一下自己一个人默默研究多久能跑出spark程序。接下来一点点记录下自己的轨迹。

搜索

按照上级师姐的一点经验建议。spark对各部件的版本要求很苛刻，jdk版本、Hadoop版本、Scala版本都很严格。先不弄集群，不直接在本电脑的win7系统上搭建环境，利用intellij这种可以运行的开发环境里直接上。
网上按照关键字“intellij搭建spark环境”搜索了一些信息，想找尽量新一点的内容发现最近的也只能是16年。然后因为我个人关于这方面的知识非常有限，所以打开一篇博文浏览的时候常常会辐射衍生出无数篇解释其中某些词或者工具的博文QAQ

在这一篇博文下，了解到：

Spark 的主力 IDE 无疑是 IntelliJ IDEA。在 Databricks 我也见过直接用 Vim、Sublime的同事，然而但凡用 IDE 的，清一色是 IDEA，从没见过谁用 Eclipse 和/或 NetBeans。所以，作为主力contributor 的日常 IDE，IDEA 一定是最驯顺的。（就个人体验而言，IDEA 也是我用过的最好的 Java/ScalaIDE。）

很有帮助，因为之前搜索到利用eclipse跑spark的教程，当时我还想着那我有现成工具可以跟着教程试一遍，现在可以排除了。又延伸了解到一个名词：IDEA，全称IntelliJ IDEA，是java语言开发的集成环境。然后在这个网址，发现了IntelliJ IDEA 2017教程，于是在此处打个岔路，先看看这个教程如下文。

IntelliJ IDEA 2017教程

安装步骤：

安装版本是 2017.1，此处存疑，考虑其它完整教材配套的版本。首先确认安装了JDK 1.8+，且已配置好 JAVA_HOME等环境变量。查看本机后发现满足要求，意味着即使我用更低的intellij版本的话也是满足的。
接下来就是直接双击.exe文件进行安装，64位系统以及被建议不要勾选关联选项。说明了一下硬件设备的要求：

实际的项目开发中，想要 Intellij IDEA 可以流畅地运行，只有 2G 内存的计算机已然不适合作为开发机。为了加速项目的搜索过程，IDEA引入了索引机制，让 Intellij IDEA 运行在具有 SSD 硬盘的电脑上会更加适合。

接下来以图文的形式，详细地展示了 IntelliJ IDEA 安装之后的目录结构，并且对于其中的那些重要目录和文件进行了详细的描述，包括功能和修改意见。–> IntelliJ IDEA 首次运行时的配置过程(注意到Scala插件在此过程中即可安装)。

今天到这里啦＼(＾∀＾)メ(＾∀＾)ノ