“Spark上流式机器学习算法实现”中期检查报告

从7月初到现在已经快一个月左右了，我们的项目总体进展比较顺利，本次中期检查报告主要分为两部分：前期工作总结和后期展望。

一、前期工作总结

项目前期我们的工作主要是围绕“基于spark的流式广义线性模型算法实现”这个目标去做的。万事开头难，要实现算法，必须首先得搭建开发环境。

1、搭建基于linux和windows的spark和scala的开发环境

由于在windows上有支持Scala语言的scala-IDE这个软件，编程非常清晰和方便，如下图所示。

另外，由于基于spark库的程序在linux上运行起来更方便，通过spark-submit这个应用就可以运行基于spark的程序，还可以方便地修改配置参数，因此我们在linux机器上也装好了scala语言和spark的开发环境（详见博文“基于linux的spark与scala开发环境搭建”）。

1、学习scala语言和运行spark程序

由于刚开始接触scala语言，对其并不是很熟悉，熟悉一种语言的最好的办法当然是看它的源代码并且运行程序。

我们通过对spark1.0.0版本的一些简单例程的学习，如单词统计（如下图）、计算π等例子，慢慢熟悉并掌握了Scala语言的基本的函数式编程技巧和代码