Spark四大组件包括Spark Streaming、Spark SQL、Spark MLlib和Spark GraphX。

转载 2016年08月31日 14:33:57


Spark四大组件包括Spark Streaming、Spark SQL、Spark MLlib和Spark GraphX。它们的主要应用场景是:


Spark Streaming:
Spark Streaming基于微批量方式的计算和处理,可以用于处理实时的流数据。它使用DStream,简单来说就是一个弹性分布式数据集(RDD)系列,处理实时数据。


Spark SQL:
Spark SQL可以通过JDBC API将Spark数据集暴露出去,而且还可以用传统的BI和可视化工具在Spark数据上执行类似SQL的查询。用户还可以用Spark SQL对不同格式的数据(如JSON,Parquet以及数据库等)执行ETL,将其转化,然后暴露给特定的查询。


Spark MLlib:
MLlib是一个可扩展的Spark机器学习库,由通用的学习算法和工具组成,包括二元分类、线性回归、聚类、协同过滤、梯度下降以及底层优化原语。用于机器学习和统计等场景


Spark GraphX:
GraphX是用于图计算和并行图计算的新的(alpha)Spark API。通过引入弹性分布式属性图(Resilient Distributed Property Graph),一种顶点和边都带有属性的有向多重图,扩展了Spark RDD。为了支持图计算,GraphX暴露了一个基础操作符集合(如subgraph,joinVertices和aggregateMessages)和一个经过优化的Pregel API变体。此外,GraphX还包括一个持续增长的用于简化图分析任务的图算法和构建器集合。

相关文章推荐

从源码的角度理解四大组件的工作过程——Android开发艺术探索笔记

系统对四大组件的过程进行了很大程度的封装,日常开发中并不需要了解底层的工作原理,那么研究这些原理的意义在哪里呢? 如果你想在技术上更进一步,那么了解一些系统的工作原理是十分必要的,也是开发人员日后成长...

Spark笔试题

1. Spark 的四大组件下面哪个不是 (D ) A.Spark Streaming B Mlib  C Graphx D Spark R 2.下面哪个端口不是 spark 自带服务的...

Spark Streaming 结合Spark SQL 案例

本博文主要包含以下内容: String+SQL技术实现解析 Streaming+SQL实现实战 一:SparkString+SparkSQL技术实现解析:使用Spark Streaming + Spa...
  • erfucun
  • erfucun
  • 2016年08月26日 15:58
  • 3896

Spark-Streaming与Spark-Sql整合实现实时股票排行---通过kafka列队数据

Spark-Streaming与Spark-Sql整合实现实时股票排行---通过kafka列队数据,前端数据通过 kafka队列传递,外层还有flume的实时收集。...

Spark组件之Spark Streaming学习3--结合SparkSQL的使用(wordCount)

1.通过建立一个对象来获取Streaming的单例对象 val sqlContext = SQLContextSingleton.getInstance(rdd.sparkContext) ...

基于Spark Streaming和Spark MLlib实现文本情感分析

前言: 文章主要是学习实验楼《使用Spark MLlib进行情感分析》课程后的总结,这里只简单说明,没有具体操作步骤。代码和操作步骤可去课程实践获得,也可在我的资源下载中找到(资源中除课程介绍的随机森...

Spark MLlib LDA 基于GraphX实现原理及源码分析

LDA背景LDA(隐含狄利克雷分布)是一个主题聚类模型,是当前主题聚类领域最火的、最有力的模型之一,它能通过多轮迭代的方式把特征向量集合按主题分类。目前,广泛运用在文本主题聚类中。 LDA的开源实现...

spark 测试题

1. spark 的四大组件下面哪个不是 ( ) A.Spark Streaming B Mlib C Graphx D Spark R 2.下面哪个端口不是 spark 自带服务的端口 ...

spark streaming整合sparksql

在streaming中使用sparksql对apache服务器日志进行统计 package youling.studio.streaming import org.apache.spark.sql...

大数据IMF传奇行动绝密课程第100-101课:使用Spark Streaming+Spark SQL+Kafka+FileSystem综合案例

使用Spark Streaming+Spark SQL+Kafka+FileSystem综合案例1、项目分析流程图 2、项目代码实战Flume sink到Kafka需要一个jar包支持 https...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark四大组件包括Spark Streaming、Spark SQL、Spark MLlib和Spark GraphX。
举报原因:
原因补充:

(最多只允许输入30个字)