![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
Quinto0
Learning is the highest
展开
-
SparkCore基础
Spark简介1什么是SparkSpark是一个通用的可扩展的处理海量数据集的计算引擎。Spark集成离线计算,实时计算,SQL查询,机器学习,图计算为一体的通用的计算框架。2Spark特点(1)快:相比给予MR,官方表明基于内存计算spark要快mr100倍,基于磁盘计算spark要...原创 2019-09-30 14:47:03 · 380 阅读 · 0 评论 -
SparkStreaming基础
SparkStreaming基础1流式计算流式计算就像水流一样,数据连绵不断的产生,并被快速处理。流式计算特点:①数据是无界的(unbounded);②数据是动态的;③计算速度是非常快的;④计算不止一次;⑤计算不能终止离线计算特点 :①数据是有界的(Bounded) ;②数据静态的 ;③计算速度通常较慢 ;④计算...原创 2019-10-01 14:48:27 · 607 阅读 · 0 评论