16年寒假学习小结

绪论

开学一个星期，从寒假那种自由的状态回复规律的生活。在学校的生活确实更加规律，不仅是从上课的角度说的，在学校可以去图书馆等地，氛围都比家里要好，也相对而言更容易控制自己一些。

不说这些杂事，这里主要谈谈我的寒假学习的小结。这个寒假算是一点小成功，什么成功呢，就是在两个方面的技术方面从小白变成了大白。这个寒假，我主要学习的内容是Spark，这是一个大数据的处理的框架（？）框架可能不是很适合吧，百度百科上面的定义是专为大规模数据处理而设计的快速通用的计算引擎。不论我们把它理解为什么，影响不大。稍后我会主要谈谈学习Spark的一些感受。另一个方面的小白变成大白呢，就是这个寒假学习了Linux的内容，当然都是一些很基础的，例如一些基本的命令，还有vim的基础使用，网络上有一个vim的简明练级教程，我现在就是在存活的阶段，比较弱。不过现在可以说，就算把整个电脑的盘格掉，全装Linux也可以勉强使用。还有一个方面的内容，就是看了一点点MySQL的命令语句，不过这个方面占比太小了，基本上的内容都忘完了，就不多说。

PS:写作本文时的spark界面：

正文

对一个从没有接触过大数据、hadoop、集群、Spark等等概念的小白来说（其实除了大数据其他名词以前从没听说过），要学习这个新技术要从何处开始呢，当然对程序员而言要学新技术最先开始的地方都逃不过开发环境搭建，这里也不例外。

我不必说这个开发环境搭建有多困难了，大概和我第一次使用Linux一样，连软件都不会装，又像第一次骑单车一样，走都走不稳（现在也好不到哪里去）。在官网上看了几个页面，也似乎没有找到什么和安装、搭建开发环境有关的内容。而百度（习惯了）上面排在前面的都是Windows下安装Spark的内容，这怎么行，要装就应该装在Linux下（说起来这两天在虚拟机里装了CentOS，有点想把Linux的学习从ubuntu转到CentOS了），于是就先装个虚拟机吧，虚拟机里也装好了Ubuntu。总之开始这几天是毫无成果的，因为查到的很多资料，一些安装教程，虽然没有实际的按照他们的教程安装，但是凭直觉就觉得那些不适合我现在的情况，直到突然间找到一个网页: 厦大数据库实验室–Spark安装和使用,当时凭直觉就觉得这是我需要的，后来也确实按照这个初步完成了Spark环境的搭建。

做完这些基本的准备工作之后，就该进入下一步的学习了，鉴于网上找不到多少电子书可用的，而且一些博客使用的版本和我所安装的Spark版本不一致（2.1.0），所以我决定跟随官网的指导一步步的进行spark的学习。一开始我是按着官网的Scala的部分来学习的，因为似乎Scala和Java有很多方面是相似的，所以我觉得先从Scala开始，Scala在大数据方面，包括spark应用也十分广泛，所以我想先从Scala开始理解spark的运行、应用。过了两三天吧，突然觉得这样好像不太对，有些缘木求鱼的感觉，于是决定还是乖乖的用Java来学习。

使用Java的就有个问题了：如何运行？不运行就无法预知程序运行的结果会是怎么样的，而原来用Scala，Scala可以类似于shell那样交互式的运行，有什么问题、错误都会直接提示，运行结果也可以直接显示出来。然后又是老问题，搭建spark、java开发环境，这个问题就比较麻烦了，略过这些过程不谈，最后我没有搭建这个开发环境，而是决定使用maven来编译Java文件，再用spark-submit来提交运行，然后也是经过了一段时间的纠结，最终看到了一篇文章，同样来自厦门大学数据库实验室的那个网站（不知道为什么总是做这种南辕北辙的事），原文转载在我的博客上：Spark–Java独立应用，有了这个基础就比较简单了，于是我决定独立的运行spark的目录里面自带的例子：JavaWordCount.java,这次就毫无意外的成功了。

这些方面都解决了，已经离开学没有几天了，坦白说，玩的比学的多。谁不喜欢玩呢。