Spark Streaming及图对象构造等复习

一、Spark Streaming创建流程：

1.创建StreamingContext对象；
2.创建InputDStream；
3.操作DStream；
4.启动Spark Streaming。

二、Spark Streaming运行流程：

Spark Streaming接收实时数据并根据一定的时间间隔将其拆分成多个小的批处理作业，然后通过批处理引擎Spark core处理它们，批量生成最终的结果，也就是把Spark Streaming的输入数据按照时间片分成一段一段的数据，得到批数据，每一段数据都转换成Spark中的RDD，然后将Spark Streaming中对DStream的转换操作变为针对Spark中的RDD的转换操作，将RDD经过操作变成中间结果保存在内存中。整个流式计算根据业务的需求可以对中间的结果进行叠加或者存储到外部设备。

三、如何构造图对象：

导入graphframes第三方包；
读入顶点和边的数据；
转换成DataFrame形式；
使用GraphFrame进行实例化；
创建图对象。

四、举例图计算运用在哪些方面：

淘宝图谱计算平台；
Google的PageRank网页排名；
新浪微博社交网络分析；
淘宝、腾讯的推荐应用；
最短路径算法；
社群发现等。

五、Spark MLlib例举算法（至少五个）：

逻辑回归、线性回归、朴素贝叶斯、决策树、支持向量机、聚类、FP算法等。

六、列举模型评估的指标：

精确度、召回率、F值、ROC曲线、Precision-Recall曲线等。