![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark学习笔记
文章平均质量分 58
DrCrypto
这个作者很懒,什么都没留下…
展开
-
【Spark】快速简介
两个要点:快速通用的计算机系统集群,用于大规模数据处理高层API可用Java,Scala,Python以及RSpark上的库:Spark SQL: 数据库操作Spark Streaming: 流计算MLlib: 机器学习库GraphX: 图形计算Spark的语义抽象/概念RDD: Resilient Distributed Dataset,弹性分布式数据库DAG: 有...原创 2018-11-22 13:39:55 · 252 阅读 · 0 评论 -
【Spark】Spark是什么
简短介绍下Spark几个关键词:快速,通用,集群计算平台Spark扩展了MapReduce计算模型,且支持更多计算模式,包含:交互式查询流处理这里的交互式,不是简单的我们生活中理解的与设备的交互。它的深意是:对于大规模数据集的处理,速度够快。只有速度够快,才能实现交互式操作。前文提到的,基于内存的数据定义,Spark可以在内存中进行计算。其实,即使不在内存中计算,放在磁盘上,Spa...原创 2018-11-22 14:42:17 · 955 阅读 · 0 评论